排序命令。

文件大小排序

不能用 -sh ，只能识别数字

  1. du -s * | sort -nr

文本去重

简单去重

  1. cat tmp.txt | sort -u > out.txt

大文本去重

  1. LC_ALL=C sort -S 80% --parallel=60 -u input.txt > output.txt
  • LC_ALL=C 意思是使用C的字符串比较方式，其实就是不对文件中的字节流进行字符解码，字符编解码是非常耗时的操作；
  • -S 80% 即设置可用的内存，尽量设大；
  • —parallel=60 六十个进程