前言
awk不仅仅是Linux系统中的一个命令,而且其还是一种编程语言,可以用来处理数据和生成报告(Excel)。处理的数据可以是一个或多个文件,它是Linux系统最强大的文本处理工具,没有之一。
【语法格式】
awk [option] ‘pattern{action}’ file …
awk [参数] ‘条件{动作}’ 文件 …
awk命令的常用功能
awk命令的参数选项及说明
案例1 :显示文件中的第5行
测试文件及内容如下:
#查看测试文件并每行编号
bash-5.0# cat -n reload.sh
1 echo "loading..."
2 # pid=`pidof skeleton.Master`
3 # kill -HUP $pid
4 pid=`ps -ef |grep skeleton.Worker| grep -v grep| awk '{print $1}'`
5 # | xargs kill -USR1
6 echo $pid
7 kill -9 $pid
8 # kill -USR1 $pid
9 echo "loading success"
bash-5.0# awk "NR==5" reload.sh
# | xargs kill -USR1 #<==和上面内容对比确实是第5行
说明:
首先NR在awk中表示行号(记录号),NR==5表示行号等于5的行。这里需要注意的是必须使用两个等号,在awk中两个等号表示“等于”,一个等号表示赋值,即向一个变量里面放置内容。注意:awk后面所接的内容要用单引号。
命令拓展:显示一部分行的内容,例如显示2-5行。
bash-5.0# awk "NR==2,NR==5" reload.sh
# pid=`pidof skeleton.Master`
# kill -HUP $pid
pid=`ps -ef |grep skeleton.Worker| grep -v grep| awk '{print $1}'`
# | xargs kill -USR1
案例2:给文件每行的内容之前加上行号。
bash-5.0# awk '{print NR,$0}' reload.sh
1 echo "loading..."
2 # pid=`pidof skeleton.Master`
3 # kill -HUP $pid
4 pid=`ps -ef |grep skeleton.Worker| grep -v grep| awk '{print $1}'`
5 # | xargs kill -USR1
6 echo $pid
7 kill -9 $pid
8 # kill -USR1 $pid
9 echo "loading success"
说明:
这里的NR还是表示行号,$0表示一整行的内容(一行的内容)。print关键字表示显示的内容,相当于是awk内部的一个命令。那么print命令为何要放在花括号中呢?因为这个命令(动作)是“很害羞”的,需要“城墙”保护(花括号)。
案例3:显示文件的第2行到6行,并打印行号。
bash-5.0# awk 'NR==2,NR==5 {print NR,$0}' reload.sh #<==注意位置和写法。
2 # pid=`pidof skeleton.Master`
3 # kill -HUP $pid
4 pid=`ps -ef |grep skeleton.Worker| grep -v grep| awk '{print $1}'`
5 # | xargs kill -USR1
案例4:获取此文件的第1列和第三列、最后一列
bash-5.0# cat 1.txt
qq:ww:ee:rr:ss:22:3333:221
zz:xxx:sss:ddd:aaa:f
w:e:r:q:f:g:ghh:h:f:f:f:f
qq:ww:ee:rr:ss:22:3333:221
w:e:r:q:f:g:ghh:h:f:f:f:f
qq:ww:ee:rr:ss:22:3333:221
zz:xxx:sss:ddd:aaa:f
qq:ww:ee:rr:ss:22:3333:221
bash-5.0# awk -F ':' '{print $1,$3,$NF}' 1.txt
qq ee 221
zz sss f
w r f
qq ee 221
w r f
qq ee 221
zz sss f
qq ee 221
说明:
- 这里我们使用了awk的-F参数,注意一定要是大写的,-F参数表示指定分隔符来切割每一行的内容,-F后面可用单双引号或不加引号,但是,建议加双引号。
- 这里我们指定的分隔符是冒号“:”,这样该行就被不同的冒号切割成了很多个部分。
- 切成了很多个部分之后,若我们要使用某一个部分该怎么办?使用“$(美元符号)”后面接数字,$1表示第一个部分(第一列),$2(第二列),$3(第三列),依此类推,但$0表示整行。
- 这里有一个特殊的表示最后一列的方法,就通过$NF来表示最后一列。
案例5:使用awk将文件中的qq替换为tihuan(使用awk函数实现)
bash-5.0# awk '{gsub("qq","tihuan",$0);print $0}' 1.txt
tihuan:ww:ee:rr:ss:22:3333:221
zz:xxx:sss:ddd:aaa:f
w:e:r:q:f:g:ghh:h:f:f:f:f
tihuan:ww:ee:rr:ss:22:3333:221
w:e:r:q:f:g:ghh:h:f:f:f:f
tihuan:ww:ee:rr:ss:22:3333:221
zz:xxx:sss:ddd:aaa:f
tihuan:ww:ee:rr:ss:22:3333:221
这里使用的是awk里面的查找替换功能,即gsub函数。
gsub的格式如下:
gsub(“替换对象”,“替换成什么内容”,哪一列)
注意:
- gsub与后面的括号之间不能有空格。
- 替换对象、替换成什么内容以及哪一列之间要用逗号分隔开。
- 替换对象的外面要有双引号或双斜线包裹起来,即“替换对象”或/替换对象/。
- 替换成什么内容就只能用双引号包裹起来了,即“替换成什么内容”。
- 最后一个是哪一列,这个是可以省略的,省略的时候表示要替换整行的内容,相当于是写上了$0。
案例6:取出eth0网卡对应的ip地址。
本地机器的ip信息如下
bash-5.0# ifconfig eth0
eth0 Link encap:Ethernet HWaddr 02:42:AC:11:00:02
inet addr:172.17.0.2 Bcast:172.17.255.255 Mask:255.255.0.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:26 errors:0 dropped:0 overruns:0 frame:0
TX packets:5 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:1968 (1.9 KiB) TX bytes:246 (246.0 B)
本例的方法特别多,这里仅使用awk给出常见的实现。
方法1
bash-5.0# ifconfig eth0 |awk -F "(addr:)|( Bcast:)" 'NR==2{print $2}'
172.17.0.2
说明:
-F"(addr:)|(Bcast:)"这个还是比较容易理解的,我们的目标是取得ip,本例是10.0.0.8,ip的左边是“addr:”,右边是“Bcast:”,左边分隔,即把“addr:”作为分隔符,右边分隔,即把“Bcast:”作为分隔符,剩下中间的ip就是我们想要的。
但是还需要一个条件,ip地址在第二行所以使用NR==2来表示。
方法2
bash-5.0# ifconfig eth0|awk -F "[ :]+" 'NR==2{print $4}'
172.17.0.2
说明:
172.17.0.2的左边挨着的是冒号,因此可以用冒号作为分隔符,即-F":“。
172.17.0.2的右边挨着的是空格,因此可以用空格作为分隔符,即-F”“。
但是行的最左边是多个空格又该怎么处理呢?
很简单,可以用正则表达式的加号(+),表示重复前面一个字符一次或一次以上。
结合起来就是,-F”[:]+"以单个或连续的空格或冒号或者它们的组合为分隔符,最后就可以获得我们想要的ip地址。
案例7:将域名取出并根据域名进行计数排序处理(百度和搜狐面试题):
bash-5.0# cat domainTest.txt
http://www.etiantian.org/index.html
http://www.etiantian.org/1.html
http://post.etiantian.org/index.html
http://mp3.etiantian.org/index.html
http://www.etiantian.org/3.html
http://post.etiantian.org/2.html
1.取出域名
bash-5.0# awk -F '/' '{print $3}' domainTest.txt
www.etiantian.org
www.etiantian.org
post.etiantian.org
mp3.etiantian.org
www.etiantian.org
post.etiantian.org
2.排序
bash-5.0# awk -F '/' '{print $3}' domainTest.txt | sort
mp3.etiantian.org
post.etiantian.org
post.etiantian.org
www.etiantian.org
www.etiantian.org
www.etiantian.org
3.去重计数
awk -F '/' '{print $3}' domainTest.txt | sort | uniq -c
1 mp3.etiantian.org
2 post.etiantian.org
3 www.etiantian.org