1 sort
将文本文件内容加以排序
语法： sort [-bcdfimMnr][-o<输出文件>][-t<分隔字符>][+<起始栏位>-<结束栏位>][--help][--verison][文件][-k field1[,field2]]
参数：
- -b 忽略每行前面开始出的空格字符
- -c 检查文件是否已经按照顺序排序
- -d 排序时，处理英文字母、数字及空格字符外，忽略其他的字符
- -f 排序时，将小写字母视为大写字母
- -i 排序时，除了040至176之间的ASCII字符外，忽略其他的字符
- -m 将几个排序好的文件进行合并
- -M 将前面3个字母依照月份的缩写进行排序
- -n 依照数值的大小排序。
- -u 意味着是唯一的(unique)，输出的结果是去完重了的
- -o<输出文件> 将排序后的结果存入指定的文件
- -r 以相反的顺序来排序。
- -t<分隔字符> 指定排序时所用的栏位分隔字符
- +<起始栏位>-<结束栏位> 以指定的栏位来排序，范围由起始栏位到结束栏位的前一栏位
- --help 显示帮助
- --version 显示版本信息
- [-k field1[,field2]] 按指定的列进行排序
2 uniq
可检查文本文件中重复出现的行列
语法： uniq [-cdu][-f<栏位>][-s<字符位置>][-w<字符位置>][--help][--version][输入文件][输出文件]
参数：
- -c或--count 在每列旁边显示该行重复出现的次数
- -d或--repeated 仅显示重复出现的行列
- -f<栏位>或--skip-fields=<栏位> 忽略比较指定的栏位
- -s<字符位置>或--skip-chars=<字符位置> 忽略比较指定的字符
- -u或--unique 仅显示出一次的行列
- -w<字符位置>或--check-chars=<字符位置> 指定要比较的字符
- --help 显示帮助
- --version 显示版本信息
- [输入文件] 指定已排序好的文本文件。如果不指定此项，则从标准读取数据
- [输出文件] 指定输出的文件。如果不指定此选项，则将内容显示到标准输出设备（显示终端）
3 sort -u 与 uniq的区别
两者都可去重，但uniq去除的是连续出现的相同记录，sort -u 则可以去除连续或者不连续的相同记录
例：
[root@mysql ~]# cat test.txt
a
123
123
a
a
ff
12
fff
a
ff
[root@mysql ~]# sort -u test.txt
12
123
a
ff
fff
[root@mysql ~]# uniq test.txt
a
123
a
ff
12
fff
a
ff
4 总结
如果想把文本里所有的重复项去掉，可用 sort -u
如果想统计重复项的次数并排序，需结合uniq，先排序再去重再排序：
[root@mysql ~]# sort test.txt |uniq -c| sort -r
4 a
2 ff
2 123
1 fff
1 12实际中可用来统计连接数最多的ip：
netstat -na|grep ESTABLISHED|awk '{print $5}'|awk -F: '{print $1}'|sort|uniq -c|sort -n
