awk是一个非常棒的数字处理工具。相比于sed常常作用于一整行的处理,awk则比较倾向于将一行分为数个“字段”来处理。运行效率高,而且代码简单,对格式化的文本处理能力超强。先来一个例子:
文件a,统计文件a的第一列中是浮点数的行的浮点数的平均值。用awk来实现只需要一句话就可以搞定
$cata
1.02133
1#.ll44
2.536
ss7
awk'BEGIN{total=0;len=0}{if($1~/^[0-9]+\.[0-9]*/){total+=$1;len++}}END{printtotal/len}'a
(分析:$1~/^[0-9]+\.[0-9]*/表示$1与“//”里面的正则表达式进行匹配,若匹配,则total加上$1,且len自增,即数目加1.“^[0-9]+\.[0-9]*”是个正则表达式,“^[0-9]”表示以数字开头,“\.”是转义的意思,表示“.”为小数点的意思。“[0-9]*”表示0个或多个数字)
awk的一般语法格式为:
awk[-参数变量]'BEGIN{初始化}条件类型1{动作1}条件类型2{动作2}。。。。END{后处理}'
其中:BEGIN和END中的语句分别在开始读取文件(in_file)之前和读取完文件之后发挥作用,可以理解为初始化和扫尾。
(1)参数说明:
-Fre:允许awk更改其字段分隔符
-vvar=$v把v值赋值给var,如果有多个变量要赋值,那么就写多个-v,每个变量赋值对应一个-v
e.g.要打印文件a的第num行到num+num1行之间的行,
awk-vnum=$num-vnum1=$num1'NR==num,NR==num+num1{print}'a
-fprogfile:允许awk调用并执行progfile程序文件,当然progfile必须是一个符合awk语法的程序文件。
(2)awk内置变量:
ARGC命令行参数的个数
ARGV命令行参数数组
ARGIND当前被处理文件的ARGV标志符
e.g有两个文件a和b
awk'{if(ARGIND==1){print"处理a文件"}if(ARGIND==2){print"处理b文件"}}'ab
文件处理的顺序是先扫描完a文件,再扫描b文件
NR 已经读出的记录数
FNR 当前文件的记录数
上面的例子也可以写成这样:
awk'NR==FNR{print"处理文件a"}NR>FNR{print"处理文件b"}'ab
输入文件a和b,由于先扫描a,所以扫描a的时候必然有NR==FNR,然后扫描b的时候,FNR从1开始计数,而NR则接着a的行数继续计数,所以NR>FNR
e.g要显示文件的第10行至第15行
awk'NR==10,NR==15{print}'a
FS 输入字段分隔符(缺省为:space:),相当于-F选项
awk-F':''{print}'a和awk'BEGIN{FS=":"}{print}'a是一样的
OFS输出字段分隔符(缺省为:space:)
awk-F':''BEGIN{OFS=";"}{print$1,$2,$3}'b
如果catb为
1:2:3
4:5:6
那么把OFS设置成";"后就会输出
1;2;3
4;5;6
(小注释:awk把分割后的第1、2、3个字段用$1,$2,$3...表示,$0表示整个记录(一般就是一整行))
NF:当前记录中的字段个数
awk-F':''{printNF}'b的输出为
3
3
表明b的每一行用分隔符":"分割后都3个字段
可以用NF来控制输出符合要求的字段数的行,这样可以处理掉一些异常的行
awk-F':''{if(NF==3)print}'b
RS:输入记录分隔符,缺省为"\n"
缺省情况下,awk把一行看作一个记录;如果设置了RS,那么awk按照RS来分割记录
例如,如果文件c,catc为
helloworld;Iwanttogoswimmingtomorrow;hiahia
运行awk'BEGIN{RS=";"}{print}'c的结果为
helloworld
Iwanttogoswimmingtomorrow
hiahia
合理的使用RS和FS可以使得awk处理更多模式的文档,例如可以一次处理多行,例如文档dcatd的输出为
12
345
67
8910
1112
hello
每个记录使用空行分割,每个字段使用换行符分割,这样的awk也很好写
awk'BEGIN{FS="\n";RS=""}{printNF}'d输出
2
3
1
ORS:输出记录分隔符,缺省为换行符,控制每个print语句后的输出符号
awk'BEGIN{FS="\n";RS="";ORS=";"}{printNF}'d输出
2;3;1
(3)awk读取shell中的变量
可以使用-v选项实现功能
$b=1
$catf
apple
$awk-vvar=$b'{printvar,$var}'f
1apple
至于有没有办法把awk中的变量传给shell呢,这个问题我是这样理解的。shell调用awk实际上是fork一个子进程出来,而子进程是无法向父进程传递变量的,除非用重定向(包括管道)
a=$(awk'{print$b,'$b'}'f)
$echo$a
apple1
(4)输出重定向
awk的输出重定向类似于shell的重定向。重定向的目标文件名必须用双引号引用起来。
$awk'$4>=70{print$1,$2>"destfile"}'filename
$awk'$4>=70{print$1,$2>>"destfile"}'filename
(5)awk中调用shell命令:
1)使用管道
awk中的管道概念和shell的管道类似,都是使用"|"符号。如果在awk程序中打开了管道,必须先关闭该管道才能打开另一个管道。也就是说一次只能打开一个管道。shell命令必须被双引号引用起来。“如果打算再次在awk程序中使用某个文件或管道进行读写,则可能要先关闭程序,因为其中的管道会保持打开状态直至脚本运行结束。注意,管道一旦被打开,就会保持打开状态直至awk退出。因此END块中的语句也会收到管道的影响。(可以在END的第一行关闭管道)”
awk中使用管道有两种语法,分别是:
awkoutput|shellinput
shelloutput|awkinput
对于awkoutput|shellinput来说,shell接收awk的输出,并进行处理。需要注意的是,awk的output是先缓存在pipe中,等输出完毕后再调用shell命令处理,shell命令只处理一次,而且处理的时机是“awk程序结束时,或者管道关闭时(需要显式的关闭管道)”
$awk'/west/{count++}{printf"%s%s\t\t%-15s\n",$3,$4,$1|"sort+1"}END{close"sort+1";printf"Thenumberofsalespersinthewestern";printf"regionis"count"."}'datafile(解释:/west/{count++}表示与“wes”t进行匹配,若匹配,则count自增)
printf函数用于将输出格式化并发送给管道。所有输出集齐后,被一同发送给sort命令。必须用与打开时完全相同的命令来关闭管道(sort+1),否则END块中的语句将与前面的输出一起被排序。此处的sort命令只执行一次。
在shelloutput|awkinput中awk的input只能是getline函数。shell执行的结果缓存于pipe中,再传送给awk处理,如果有多行数据,awk的getline命令可能调用多次。
$awk'BEGIN{while(("ls"|getlined)>0)printd}'f