awk程序由所谓的主输入（main input）循环组成。一个循环称作一个例程。awk允许编写两个特殊的例程，他们在任何输入被读取前和所有输入都被读取后执行。他们是BEGIN和END规则相关的过程，BEGIN和END过程都是可选的。BEGIN函数是在文本被输入之前进行的操作，END是在文本被处理完毕后执行的操作。所以awk语句由BEGIN+主输入+END组成。
记录和字段：awk假设它的输入是有结构的，而不是一串无规则的字符。默认它将每个输入行作为一条记录，而将由空格或制表符分隔的单词作为字段。连续的多个空格和/或制表符被作为一个分隔符。默认的字段分隔符为空格，默认的制表分格符为换行
awk语法：
1. awk arguments 'script' filename
2. awk arguments 'BEGIN{options}{script/command}{script/command}……END{options}' filename \\其中BEGIN和END是可选项
同sed一样，正则表达式也需要写在规则的前面以//包括，条件和循环可以加入主循环之内
arguments参数
-f 调用脚本
-F 改变字段分隔符，空格表示默认字段分隔符，也可以在脚本中指定域分隔符，通过系统变量FS来改变；其中\n为换行，\t为制表符
-v 调用系统变量，例如：awk -v a=$HOSTNAME {print a} test.txt
预定义变量
$0 当前所有字段
$1~$n 当前第n个字段
FS 分隔符 用法：awk 'BEGIN{FS=":"}{print $1}' /etc/passwd
RS 输入记录的分隔符 用法：awk 'BEGIN{RS=":"}{print $0}' /etc/passwd
OFS 输出分隔符，默认为空格
ORS 输出记录的分隔符
NF 字段个数 #注意，引用的时候直接使用NF即可，如果使用$NF，则表明取最未字段的值
NR 行号 用法：awk -F: '{print NR" : ",NF}' /etc/passwd
-v 指定自定义变量 用法：awk -v host=$HOSTNAME 'BEGIN{print host}'
操作符：
< 小于
> 大于
<= 小于等于
>= 大于等于
== 等于
!= 不等于
~ 匹配 用法： awk -F: -v reg='^/bin.*' '$7 ~ reg {print $0}' /etc/passwd
!~ 不匹配
&& 与
|| 或
! 非
表达式
常量：常量分为字符串型和数字型，字符串型在表达式中必须用引号括起来，字符串中可以使用转义序列，如\n等
变量：如a=b，a是一个变量的名字，=是赋值操作，b是一个字符串；变量区分大小写，变量名只能由数字字母下划线组成，而且不能以数字开头，变量不区分类型，使用前不必初始化。
常用的算数操作符：+-*/%，加减乘除取余，如echo `expr $RANDOM%100`，可以在100以内随机取数
常用的赋值操作符：
++ 给变量加1
-- 给变量减1
+= 给变量加等号之后的值，等于于=+
-= 给变量减等号之后的值
*= 给变量乘以等号之后的值
/= 给变量除以等号之后的值
%= 给变量取余
^= 取幂
printf--格式化打印
c ascii字符
d 十进制整数
f 浮点格式
s 字符串
x 无符号十六进制
以上为常见的格式化打印选项，常用举例
语法： %-width.precision format-specifier 例：
printf "%d\t%s\n" 100 world
printf "%-s\t%s\n" hello world \\横杠表示左对齐，没有横杠表示右对齐
printf "%*.*f\n" 5 3 2.2222 宽度5，小数点后精度为3，打印2.2222，显示结果为2.222
以下是一个awk语句，使用printf的实例，用来显示文件名称和大小，并且统计总大字和文件个数：
cat awk.txt
BEGIN{printf "%-10s\t%-10s\n","filename","size"}
{total+=$5;printf "%-10s\t%-10d\n",$9,$5}
END{printf "%s%d\b%-10s%d\n","total:",total,"num:",NR}
ll | grep total | awk -f awk.txt
经典数据统计用法：
awk -F: '{a[$NF]++}END{for(i in a){print i":"a[i]}}' /etc/passwd
条件、循环
条件语句：if 和expr
if条件语句格式：
if(expression) action1;[else action2]
while:
while(condition) action
for:
for(condition) action
示例：
while: awk -F: '{i=1;while(i<=NF){printf(" %d:%s ",i,$i);i++}{print " "}}' /etc/passwd
for: awk -F: '{for(i=1;i<=NF;i++){printf(" %d:%s ",i,$i)}{print " "}}' /etc/passwd
AWK的函数：
int(x) 返回x的整数部分的值
sqrt(x) 返回x的平方根
rand() 返回伪随机数r，其中0<=r<1
srand() 建立rand()新的种子数，如果没有指定就用当天的时间 awk 'BEGIN{srand();print rand()}'
sub(),gsub() 替换函数 echo "hello world world" | awk '{gsub("world","longlong");print $0}'
index(s,t) 返回t在字符串s中的位置，如果没有则返回0
length(s) 返回字符串长度，当没有给出s时，返回$0的长度
match(s,r) 如果正则表达式r在s中匹配到，则返回出现的起始位置，否则返回0
split(s,a,sep) 使用sep将字符串s分解到数组a中。默认sep为FS echo "00-11-22-33-44" |awk '{split($0,a,"-");for(i in a){print i":"a[i]}}'
tolower(s) 将字符串中所有的大写字母转换为小写
toupper(s) 与tolower相反
AWK的自定义函数：
awk 'function sum(n,m){total=n+m;return total}BEGIN{print sum(4,5)}'
AWK高级用法示例：
1. 获取IP地址(多个分隔符、匹配用法)： ifconfig eth0|awk -F':| +' '/inet addr/{print $4}'
2. 统计网络连接数(数组，匹配，循环)： netstat -an | awk '/^tcp/{state[$NF]++}END{for(i in state){print i"\t"state[i]}}'
3. 获取JAVA程序匹配内容列：ps aux | grep java| awk -F' +|=' -v reg='^.*base.*' '{for(i=1;i<=NF;i++)if($i~reg){print $(i+1)}}'
