linux sort,uniq,cut,wc,tr 命令详解

精选转载

yanenhai42 2014-10-17 14:00:57 博主文章分类：linux命令详解

SORT

sort 命令对 File 参数指定的文件中的行排序，并将结果写到标准输出。如果 File 参数指定多个文件，那么 sort 命令将这些文件连接起来，并当作一个文件进行排序。

sort语法

[root@www ~]# sort [-fbMnrtuk] [file or stdin]
选项与参数：
-f  ：忽略大小写的差异，例如 A 与 a 视为编码相同；
-b  ：忽略最前面的空格符部分；
-M  ：以月份的名字来排序，例如JAN, DEC 等等的排序方法；
-n  ：使用『纯数字』进行排序(默认是以文字型态来排序的)；
-r  ：反向排序；
-u  ：就是 uniq ，相同的数据中，仅出现一行代表；
-t  ：分隔符，默认是用 [tab] 键来分隔；
-k  ：以那个区间 (field) 来进行排序的意思


对/etc/passwd 的账号进行排序

[root@www ~]# cat /etc/passwd | sort
adm:x:3:4:adm:/var/adm:/sbin/nologin
apache:x:48:48:Apache:/var/www:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

sort 是默认以第一个数据来排序，而且默认是以字符串形式来排序,所以由字母 a 开始升序排序。

/etc/passwd 内容是以 : 来分隔的，我想以第三栏来排序，该如何

[root@www ~]# cat /etc/passwd | sort -t ':' -k 3
root:x:0:0:root:/root:/bin/bash
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin

默认是以字符串来排序的，如果想要使用数字排序：

cat /etc/passwd | sort -t ':' -k 3n
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/bin/shbin:x:2:2:bin:/bin:/bin/sh

默认是升序排序，如果要倒序排序，如下

cat /etc/passwd | sort -t ':' -k 3nr
nobody:x:65534:65534:nobody:/nonexistent:/bin/shntp:x:106:113::/home/ntp:/bin/falsemessagebus:x:105:109::/var/run/dbus:/bin/falsesshd:x:104:65534::/var/run/sshd:/usr/sbin/nologin

如果要对/etc/passwd,先以第六个域的第2个字符到第4个字符进行正向排序，再基于第一个域进行反向排序。

cat /etc/passwd |  sort -t':' -k 6.2,6.4 -k 1r      
sync:x:4:65534:sync:/bin:/bin/syncproxy:x:13:13:proxy:/bin:/bin/shbin:x:2:2:bin:/bin:/bin/shsys:x:3:3:sys:/dev:/bin/sh

查看/etc/passwd有多少个shell:对/etc/passwd的第七个域进行排序，然后去重:

cat /etc/passwd |  sort -t':' -k 7 -u
root:x:0:0:root:/root:/bin/bash
syslog:x:101:102::/home/syslog:/bin/falsedaemon:x:1:1:daemon:/usr/sbin:/bin/shsync:x:4:65534:sync:/bin:/bin/syncsshd:x:104:65534::/var/run/sshd:/usr/sbin/nologin

uniq

uniq命令可以去除排序过的文件中的重复行，因此uniq经常和sort合用。也就是说，为了使uniq起作用，所有的重复行必须是相邻的。

uniq语法

[root@www ~]# uniq [-icu]
选项与参数：
-i  ：忽略大小写字符的不同；
-c  ：进行计数
-u  ：只显示唯一的行

testfile的内容如下

cat testfile
hello
world
friend
hello
world
hello

直接删除未经排序的文件，将会发现没有任何行被删除

#uniq testfile  
hello
world
friend
hello
world
hello

排序文件，默认是去重

#cat words | sort |uniq
friend
hello
world

排序之后删除了重复行，同时在行首位置输出该行重复的次数

#sort testfile | uniq -c
1 friend
3 hello
2 world

仅显示存在重复的行，并在行首显示该行重复的次数

#sort testfile | uniq -dc
3 hello
2 world

仅显示不重复的行

sort testfile | uniq -u
friend

cut

cut命令可以从一个文本文件或者文本流中提取文本列。

cut语法

[root@www ~]# cut -d'分隔字符' -f fields <==用于有特定分隔字符
[root@www ~]# cut -c 字符区间            <==用于排列整齐的信息
选项与参数：
-d  ：后面接分隔字符。与 -f 一起使用；
-f  ：依据 -d 的分隔字符将一段信息分割成为数段，用 -f 取出第几段的意思；
-c  ：以字符 (characters) 的单位取出固定字符区间；

PATH 变量如下

[root@www ~]# echo $PATH
/bin:/usr/bin:/sbin:/usr/sbin:/usr/local/bin:/usr/X11R6/bin:/usr/games
#1 | 2       | 3   | 4       | 5            | 6            | 7

将 PATH 变量取出，我要找出第五个路径。

#echo $PATH | cut -d ':' -f 5
/usr/local/bin

将 PATH 变量取出，我要找出第三和第五个路径。

#echo $PATH | cut -d ':' -f 3,5
/sbin:/usr/local/bin

将 PATH 变量取出，我要找出第三到最后一个路径。

echo $PATH | cut -d ':' -f 3-

/sbin:/usr/sbin:/usr/local/bin:/usr/X11R6/bin:/usr/games

将 PATH 变量取出，我要找出第一到第三个路径。

# echo $PATH | cut -d ':' -f 1-3

/bin:/usr/bin:/sbin:

将 PATH 变量取出，我要找出第一到第三，还有第五个路径。

# echo $PATH | cut -d ':' -f 1-3,5

/bin:/usr/bin:/sbin:/usr/local/bin

实用例子:只显示/etc/passwd的用户和shell

#cat /etc/passwd | cut -d ':' -f 1,7 
root:/bin/bash
daemon:/bin/shbin:/bin/sh

wc

统计文件里面有多少单词，多少行，多少字符。

wc语法

[root@www ~]# wc [-lwm]
选项与参数：
-l  ：仅列出行；
-w  ：仅列出多少字(英文单字)；
-m  ：多少字符；

默认使用wc统计/etc/passwd

#wc /etc/passwd
40   45 1719 /etc/passwd

40是行数，45是单词数，1719是字节数

wc的命令比较简单使用，每个参数使用如下：

#wc -l /etc/passwd   #统计行数，在对记录数时，很常用
40 /etc/passwd       #表示系统有40个账户
#wc -w /etc/passwd  #统计单词出现次数
45 /etc/passwd
#wc -m /etc/passwd  #统计文件的字节数1719

tr是translate的简写，通过这个单词，你大概也能猜到它是干什么的了吧！没错，它可以用一个字符串来替换另一个字符串，或者可以完全除去一些字符。您也可以用它来除去重复字符。

   tr用来从标准输入中通过替换或删除操作进行字符转换。tr主要用于删除文件中控制字符或进行字符转换。使用tr时要转换两个字符串：字符串1用于查询，字符串2用于处理各种转换。即用字符串2替换掉字符串1。字符串1可以使正则表达式。如果字符串2为空或没有列出，则是进行删除操作，这个很好理解，用空字符串替换字符串1当然就相当于删除字符串1啦！

    补充一点，tr的功能都可以用sed 来完成。您可以将tr 看作为sed 的（极其）简化的变体。

带有最常用选项的tr命令格式为：
tr -c -d -s ["string1_to_translate_from"] ["string2_to_translate_to"]
这里：
-c 用字符串1中字符集的补集替换此字符集，要求字符集为ASCII。
-d 删除字符串1中所有输入字符。
-s 删除所有重复出现字符序列，只保留第一个；即将重复出现字符串压缩为一个字符串。

2、字符范围
指定字符串1或字符串2的内容时，只能使用单字符或字符串范围或列表。
[a-z] a-z内的字符组成的字符串。
[A-Z] A-Z内的字符组成的字符串。
[0-9] 数字串。
\octal 一个三位的八进制数，对应有效的ASCII字符。
[O*n] 表示字符O重复出现指定次数n。因此[O*2]匹配OO的字符串。
tr中特定控制字符的不同表达方式
速记符含义八进制方式
\a Ctrl-G 铃声\007
\b Ctrl-H 退格符\010
\f Ctrl-L 走行换页\014
\n Ctrl-J 新行\012
\r Ctrl-M 回车\015
\t Ctrl-I tab键\011
\v Ctrl-X \030

3、应用例子
（1）去除oops.txt里面的重复的小写字符
tr -s "[a-z]"<oops.txt >result.txt
（2）删除空行
tr -s "[\012]" < plan.txt 或tr -s ["\n"] < plan.txt
（3）有时需要删除文件中的^M，并代之以换行
tr -s "[\015]" "[\n]" < file 或tr -s "[\r]" "[\n]" < file
（4）大写到小写
cat a.txt |tr "[a-z]" "[A-Z]" >b.txt
（5）删除指定字符
    一个星期的日程表。任务是从其中删除所有数字，只保留日期。日期有大写，也有小写格式。因此需指定两个字符范围[a-z]和[A-Z]，命令tr -cs "[a-z][A-Z]" "[\012*]" 将文件每行所有不包含在[a-z]或[A-Z]（所有希腊字母）的字符串放在字符串1中并转换为一新行。-s选项表明压缩所有新行，-c表明保留所有字母不动。原文件如下，后跟tr命令：
tr -cs "[a-z][A-Z]" "[\012*]" <diary.txt
（6）转换控制字符
    tr的第一个功能就是转换控制字符，特别是从dos向UNIX下载文件时，忘记设置ftp关于回车换行转换的选项时更是如此。cat -v filename 显示控制字符。
    cat -v stat.txt
    box aa^^^^^12^M
    apple bbas^^^^23^M
    ^Z
猜想‘^ ^ ^ ^ ^ ^’是tab键。每一行以Ctrl-M结尾，文件结尾Ctrl-Z，以下是改动方法。
使用-s选项，查看ASCII表。^的八进制代码是136，^M是015，tab键是011，^Z是032 ,下面将按步骤完成最终功能。
用tab键替换^ ^ ^ ^ ^ ^，命令为"\136" "[\011*]"。将结果重定向到临时工作文件stat.tmp
tr -s "[\136]" "[\011*]" <stat.txt >stat.tmp
用新行替换每行末尾的^M，并用\n去除^Z，输入要来自于临时工作文件stat.tmp。
tr -s "[\015][\032]" "\n" <stat.tmp
要删除所有的tab键，代之以空格，使用命令
tr -s "[\011]" "[\040*]" <input.file
（7）替换passwd文件中所有冒号，代之以tab键，可以增加可读性
tr -s "[:]" "[\011]" < /etc/passwd 或tr -s "[:]" "[\t]" < /etc/passwd
（8）使路径具有可读性
    如果用echo $PATH 或者echo $LD_LIBRARY_PATH 等类似的命令来显示路径信息的话，我们看到的将会是一大堆用冒号连接在一起的路径，tr命令可以把这些冒号转换为回车，这样，这些路径就具有很好的可读性了
echo $PATH | tr ":" "\n"
（9）可以在vi内使用所有这些命令！只要记住：在tr命令前要加上您希望处理的行范围和感叹号（！），如1,$!tr -d '\t'（美元符号表示最后一行）。
（10）另外，当有人给您发送了一个在Mac OS 或DOS/Windows 机器上创建的文本文件时，您会发现tr非常有用。
    如果没有将文件保存为使用 UNIX 换行符来表示行结束这种格式，则需要将这样的文件转换成本机UNIX 格式，否则一些命令实用程序不会正确地处理这些文件。Mac OS 的行尾以回车字符(\r)结束，许多文本处理工具将这样的文件作为一行来处理。为了纠正这个问题，可以用下列技巧：
Mac -> UNIX：tr "\r" "\n"<macfile > unixfile
UNIX -> Mac：tr "\n" "\r"<unixfile > macfile
Microsoft DOS/Windows 约定，文本的每行以回车字符(\r)并后跟换行符(\n)结束。为了纠正这个问题，可以使用下列命令：
DOS -> UNIX：tr -d "\r"<dosfile > unixfile
UNIX -> DOS：在这种情况下，需要用awk，因为tr不能插入两个字符来替换一个字符。要使用的awk 命令为awk '{ print $0"\r" }'<unixfile > dosfile