本文主要讲述awk的高级应用
一、print
print的使用格式：
print item1，item2,....
要点：
1.各项目之间使用逗号分隔，而输出时则以空白字符分隔
2.输出的item可以为字符串或数值、当前记录的字段（如$1）、变量或awk的表达式；数值会先转换为字符串，而后在输出
3.print命令后面的item可以省略，此时其功能相当于print $0,因此，如果想输出空白行，则需要使用print ""
awk 'BEGIN {print "line one\nline two\nline three"}'
line one
line two
line three[root@httpweb1 ~]# awk -F: '{print $1,$3}' /etc/passwd
root 0
bin 1
daemon 2
adm 3
lp 4
sync 5
shutdown 6
halt 7
mail 8
uucp 10二、awk变量
2.1 awk内置变量之记录变量
FS：Field Separtator,读取文件时，所使用的字段分隔符
RS：Record Separtator,输入文本信息所使用的换行符
OFS：Output Field Separtator，输出文件时，所使用的字段分隔符
ORS：Output Row Separtator，输出文本所使用的换行符
2.2 awk内置变量之数据变量
NR：The Number of input records,awk命令所处理的记录数，如果有多个文件，这个数目会把处理的多个文件中行统一计数
NF：Number of Field，当前记录的field个数
FNR：与NR不同的是，FNR用于记录正处理的行是当前这一个文件中被总共处理的行数
ARGV：数组，保存命令行本身这个字符串，如awk '{print $0}' a.txt b.txt这个命令中，ARGV[0]保存awk，ARGV[1]保存a.txt
ARGC: awk命令的参数的个数
FILENAME：awk命令所处理的文件的名称；在命令中获取当前文件名
ENVIRON：当前shell环境变量及其值的关联数组
2.3 用户自定义变量
gawk允许用户自定义自己的变量以便在程序代码中使用，变量名命名规则与大多与编程语言相同，只能使用字母、数字和下划线，且不能以数字开头。gawk变量名称区分字符大小写
-v：自定义变量
-v num1=10 -v num2=12
2.3.1 在脚本中复制变量
在gwak中队变量赋值使用复制语句进行
[root@httpweb1 ~]# awk 'BEGIN{var="vaiable hello";print var}'
vaiable hello2.3.2 在命令行中使用赋值变量
gawk命令也可以在"脚本"外为变量赋值，并在脚本中进行引用。例如上面的例子也可以写成
[root@httpweb1 ~]# awk -v var="vaiable hello" 'BEGIN{print var}'
vaiable hello四、printf
printf命令的使用格式：
printf format，item1，item2，...
要点：
1.其与print命令的最大不同是，printf需要指定format
2.format用于指定后面的每个item的输出格式
3.printf语句不会自动打印换行符；使用\n来指定换行
format格式的指示符都以%开头，后跟一个字符，如下所示
%c：显示字符的ASSCII码；
%d，%i：十进制整数；
%e，%E：科学计数法显示数值；
%f：显示浮点数
%g，%G：以科学计数法的格式或浮点数的格式显示数值
%s：显示字符串
%u：无符号整数
%%：显示%自身
修饰符：
N: 显示宽度
-: 左对齐，默认为右对齐
+：显示数值行号
[root@httpweb1 ~]# awk -F: '{printf "%-15s %i\n",$1,$3}' /etc/passwdroot 0
bin 1
daemon 2
adm 3
lp 4
sync 5
shutdown 6
halt 7
mail 8五、输出重定向
print items > output-file
print items >> output-file
print items |command
特殊文件描述符：
/dev/stdin:标准输入
/dev/sdtout:标准输出
/dev/stderr:错误输出
/dev/fd/N：某特定文件描述符，如/dev/stdin就相当于/dev/fd/0
六、awk的操作符
6.1 算术操作符：
-x：负值
+x: 转换为数值
x^y: 次方
x**y: 次方
x*y：乘法
x/y: 除法
x+y: 加法
x-y：减法
x%y：求余
6.2 字符串操作符：
只有一个，而且不用写出来，用于实现字符串连接
6.3 赋值操作符：
=：等于
+=：加等
-=：减等
*=：乘等
/=：除等
%=：余等
^=：次方等
**=：次方等
++: +1
--: -1
需要注意的是，如果某模式为=号，此时使用/=/可能会有语法错误，应以/[=]/代替；
6.4 布尔值
gawk中，任何非0值或非空字符串都为真，反之就为假
6.5 比较操作符：
x < y True if x is less than y
x <= y True if x is less than or equal to y
x > y True if x is greater than y
x >= y True if x is greater than or equal to y
x == y True if x is equal to y
x != y True if x is not equal to y
x ~ y True if the string x matches the regexp denoted by y
x !~ y True if the string x does not match the regexp denoted by y
subscript in array True if the array has an element with the subscript
6.6 表达式间的逻辑关系符
&&
||
6.7 条件表达式
selector?if-true-exp:if-false-exp
if selector;then
if-true-exp
else
if-flase-exp
fi
6.8 函数调用
function_name (para1,para2)
七、awk的模式
awk 'program' input-file1 input-file2
其中的program为：
pattern { action }
pattern { action }
...
7.1 常见的模式类型
1.Regexp：正则表达式，格式为/regular expression/
2.expression: 表达式，其值非0或为非空字符时满足条件，如：$1 == "wangfeng7399",用运算符~（匹配）和！~（不匹配）。
3.Ranges：指定的匹配范围，格式为 pat1,pat2
4.BEGIN/END：特殊模式，仅在awk命令执行前运行一次或结束前运行一次
5.Empty（空模式）：匹配任意输入行
7.2 常见的Action
1.Expressions
2.Control statements
3.Compound statements
4.Input statements
5.Output statements
/正则表达式/：使用通配符的扩展集
关系表达式：可以用下面运算符表中的关系运算符进行操作，可以是字符串或数字的比较，如$2>%1选择第二个字段比第一个字段长的行
模式匹配表达式：
模式：指定一个行的范围，该语法不能包含BEGIN和END模式
BEGIN：让用户指定在第一条输入记录被处理之前所发生的动作，通常可以在这里设置全局变量
END：让用户在最后一条输入记录被读取之后发生的动作
八、控制语句
8.1 if-else
语法：if (condition) {then-body} else {[else-body]}
例子
awk -F: '{if ($1=="root") print $1,"Admin"; else print $1,"Common User"}' /etc/passwd 8.2 while
语法：while (condition) {statement1;statment2;....}
awk -F: '{i=1;while (i<=NF) { if (length($i)>=4) {print $i}; i++ }}' /etc/passwd 8.3 do-while 至少执行一次循环体，不管条件满足与否
语法：do {statement1,statement2,.....} while (comdition)
awk -F: '{i=1;do {print $i;i++}while(i<=3)}' /etc/passwd 8.4 for
语法：for (variable assignment;codition;iteration process){statement1,statement2,...}
awk -F: '{for(i=1;i<=3;i++)print $i}' /etc/passwd for循环还可以用来遍历数组元素：
语法：for(i in array){statement1,statement2,....}
awk -F: '$NF!~/^$/{BASH[$NF++]}END{for(A in BASH){printf "%-15s:%i\n"A,BASH[A]}}'/etc/password说明：统计每个shell出现的次数
8.5 case
语法：switch(expression){case VALUE or /REGEXP/:statement1,statement2,....dafault1:statement1,....}
8.6 break 和continue
常用于循环或case语句中
8.7 next
提前结束对本行文本的处理，并接着处理下一行，例如，下面的命令将显示其ID号为奇数的用户
awk -F: '{if($3%2==0) next;print$1,$3}'/etc/passwd九 awk中使用数组
9.1 数组
array[index-expression]
说明：index-expression可以使用任意字符串；需要注意的是，如果某数据组元素实现不存在，那么在引用其时，awk会自动创建此元素并初始化为空串；因此，要判断某数组中是否存在某元素，需要使用index in array的方式
netstat -ant|awk '/^tcp/{S[$NF]++} END {for (a in S) print a.S[a]}'说明：没出现一次被/^tcp/模式匹配到的行，数组S[$NF]就加1，NF为当前匹配到的行的最后一个字段，此处用其值作为数组S的元素索引
9.2 删除数组变量
从关系数组中删除数组索引需要使用delete命令。格式为
delete array[index]
十、awk的内置函数
sqlit(string,array[,fieldsep] [,seps])
功能：将string表示的字符串以fieldsep为分隔符进行分隔，并将分隔后的结果保存至array为名的数组中；属组下标为从1开始的序列
netstat -ant | awk '/:80\>/{split($5,clients,":");IP[clients[1]]++}END{for(i in IP){print IP[i],i}}' | sort -rn | head -50 length（[string]）
功能：返回string字符串中字符的个数
substr（string，start [,length]）
功能：去string字符串中的子串，从start开始，去length个，start从1开始计数
system（command）
功能：执行系统command并将结果返回至awk命令
systime（）
功能：取系统当前时间
tolower（s）
功能：将s中的所有字母转为小写
toupper（s）
功能：将s中的所有字母转化为大写
十一、用户自定义函数
自定义函数使用function关键字，格式如下
function F_NAME([variable])
{
statements
}
函数还可以使用return语句返回值，格式为“return value”
练习
1、统计ps aux命令执行时，当前系统上各状态的进程的个数；
[root@httpweb1 ~]# ps aux|awk '!/^USER/{state[$8]++}END{for (i in state) {printf "%-15s %d\n",i,state[i]}}'
S< 2
S<sl 1
Ss 18
STAT 1
SN 1
S 94
Ss+ 7
Ssl 4
R+ 1
S+ 1
Sl 6
S<s 1
2、统计ps aux命令执行时，当前系统上各用户的进程的个数；
[root@httpweb1 ~]# ps aux |awk '!/^USER/{state[$1]++}END{for (i in state) {printf "%s %d\n",i,state[i]}}'
rpc 1
dbus 1
named 1
68 2
daemon 4
postfix 2
rpcuser 1
root 122
3、显示ps aux命令执行时，当前系统上其VSZ（虚拟内存集）大于10000的进程及其PID；
ps aux|awk '!/^USER/{if ($5<10000) next;print $2,$5,$NF}'
ps aux|awk '!/^USER/{if ($5>10000) print $2,$5,$NF}'
