awk是行处理器: 相比较屏幕处理的优点,在处理庞大文件时不会出现内存溢出或是处理缓慢的问题,通常用来格式化文本信息
awk处理过程: 依次对每一行进行处理,然后输出
awk命令形式:
awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file
[-F|-f|-v] 大参数,-F指定分隔符,-f调用脚本,-v定义变量 var=value
' ' 引用代码块
BEGIN 初始化代码块,在对每一行进行处理之前,初始化代码,主要是引用全局变量,设置FS分隔符
// 匹配代码块,可以是字符串或正则表达式
{} 命令代码块,包含一条或多条命令
; 多条命令使用分号分隔
END 结尾代码块,在对每一行进行处理之后再执行的代码块,主要是进行最终计算或输出结尾摘要信息
特殊要点:
$0 表示整个当前行
$1 每行第一个字段
NF 字段数量变量
NR 每行的记录号,多文件记录递增
FNR 与NR类似,不过多文件记录不递增,每个文件都从1开始
\t 制表符
\n 换行符
FS BEGIN时定义分隔符
RS 输入的记录分隔符, 默认为换行符(即文本是按一行一行输入)
~ 匹配,与==相比不是精确比较
!~ 不匹配,不精确比较
== 等于,必须全部相等,精确比较
!= 不等于,精确比较
&& 逻辑与
|| 逻辑或
+ 匹配时表示1个或1个以上
/[0-9][0-9]+/ 两个或两个以上数字
/[0-9][0-9]*/ 一个或一个以上数字
FILENAME 文件名
OFS 输出字段分隔符, 默认也是空格,可以改为制表符等
ORS 输出的记录分隔符,默认为换行符,即处理结果也是一行一行输出到屏幕
-F'[:#/]' 定义三个分隔符
IF语句
必须用在{}中,且比较内容用()扩起来
数值比较:== != > >=
多条件逻辑:&& ||
匹配://纯字符匹配 !//纯字符不匹配 ~//字段值匹配 !~//字段值不匹配 ~/a1|a2/字段值匹配a1或a2
模式 pattern{action}
/regular expression/
relational expression
BEGIN
END
pattern, pattern
数组表达式
array[index] = value
for (item in array)
if (index in array)
算术函数
1. 生成随机数函数:rand()、srand(x)
2. 整数函数:int(x)
3. 三角函数:sqrt(x)、cos(x)、sin(x)、atan2(y,x)、 log(x)、exp(x)
字符串函数(10个)
1. 分割字符串:split(s,a,sep)
2. 格式化函数:sprintf("fmt", expr)
3. 子串函数:index(s,t)、substr(s,p,n)
4. 字符串长度:length(s)
5. 替换函数:sub(r,s,t)、gsub(r,s,t)
6. 大小写转换: tolower(s)、 toupper(s)
7. match函数:match(s,r)
“底部抽屉”函数:getline函数、close()、system()
注意:getline与next的区别。
控制语句: exit、next
控制语句: if、for、while、do while、break、continue
输出函数:printf、sprintf
%-width.precision format-specifier
awk执行shell命令
[root@localhost html]# echo "abc"|awk '{cmd="ls $1";system(cmd);}'
50x.html i.ip index.html
[root@localhost html]# echo "abc"|awk '{cmd=sprintf("echo %s",$1);system(cmd);}'
abcbase64加密
[root@localhost html]# echo "attytbc"|awk '{cmd=sprintf("echo -n %s|base64",$1);system(cmd);}'
YXR0eXRiYw==
[root@localhost html]# echo "YXR0eXRiYw=="|awk '{cmd=sprintf("echo -n %s|base64 -d",$1);system(cmd);}'
attytbc[root@localhost html]#按位操作
awk中没有左移、右移、按位取反、按位与、按位或、按位异或的操作符,只能用函数。
lshift(val, count)、rshift(val, count)、compl(val)、and(v1, v2)、or(v1, v2)、xor(v1, v2)。
如将字符串ip转换成数值ip:
[root@localhost html]# cat i.ip
192.168.1.107
[root@localhost html]# cat i.ip |awk 'BEGIN{FS="."}{ip1=lshift($1,24);ip2=lshift($2,16);ip3=lshift($3,8);ip4=$4;ip=ip1+ip2+ip3+ip4;print ip}'
3232235883再将数值ip转换为字符串ip:
[root@localhost html]# cat i.ip
3232235883
[root@localhost html]# cat i.ip|awk '{ip1=rshift(and($1,0xff000000),24);ip2=rshift(and($1,0xff0000),16);ip3=rshift(and($1,0xff00),8);ip4=and($1,0xff);print ip1"."ip2"."ip3"."ip4}'
192.168.1.107