复习 扩展

awk 中使用外部shell变量http://ask.apelearn.com/question/199


如:

A=44echo "ABCD" | awk -v GET_A=$A ’{print GET_A}’

说明:-v选项用于定义参数,这里表示将变量A的值赋予GET_A。

有多少个变量需要赋值,就需要多少个-v选项。与之等价的:应用于脚本中:

#! /bin/bash

sort -n filename |awk -F ':' '{print $1}'|uniq >id.txt

for id in `cat id.txt`; do

        echo "[$id]"

        awk -v id2=$id -F ':' '$1==id2 {print $2}' filename  // 另外的方式为: awk -F ':' '$1=="'id'" {print $2}' filename  

done

附件:

cat filename

1111111:13443253456

2222222:13211222122

1111111:13643543544

3333333:12341243123

2222222:12123123123

运行脚本后结果为:

[1111111]

13443253456

13643543544

[2222222]

13211222122

12123123123

[3333333]

12341243123


awk 合并一个文件 http://ask.apelearn.com/question/493


我有这样的需求,需要把两个文件中,第一列相同的行合并到同一行中。举个例子,有两个文件,内容如下

cat 1.txt

1 aa

2 bb

3 ee

4 ss

cat 2.txt

1 ab

2 cd

3 ad

4 bd

5 de

合并后的结果为:

1 ab aa

2 cd bb

3 ad ee

4 bd ss

5 de

实现的命令为:

awk 'NR==FNR{a[$1]=$2}NR>FNR{print $0,a[$1]}'  1.txt  2.txt

解释:NR表示读取的行数,FNR表示读取的当前行数

所以其实NR==FNR 就表示读取2.txt的时候。 同理NR>FNR表示读取1.txt的时候

数组a其实就相当于一个map


把一个文件多行连接成一行 http://ask.apelearn.com/question/266


a=`cat file`;echo $a 

awk '{printf("%s ",$0)}' file   // %s 后记得要有一空格,否则出来就是完全连在一起的,中间连空格都没有

cat file |xargs


awk中gsub函数的使用 http://ask.apelearn.com/question/200


awk 'gsub(/www/,"abc")' /etc/passwd  // passwd文件中把所有www替换为abc

awk -F ':' 'gsub(/www/,"abc",$1) {print $0}' /etc/passwd  // 替换$1中的www为abc

awk 截取指定多个域为一行 http://ask.apelearn.com/question/224

for j in `seq 0 20`; do

        let x=100*$j

        let y=$x+1

        let z=$x+100

        for i in `seq $y $z` ; do

                awk  -v a=$i '{printf $a " "}' example.txt >>/tmp/test.txt

                echo " " >>/tmp/test.txt

        done

done


过滤两个或多个关键词 http://ask.apelearn.com/question/198


grep -E '123|abc' filename  // 找出文件(filename)中包含123或者包含abc的行

egrep '123|abc' filename    //用egrep同样可以实现

awk '/123|abc/'  filename // awk 的实现方式


用awk生成以下结构文件 http://ask.apelearn.com/question/5494


用awk编写生成以下结构文件的程序。( 最后列使用现在的时间,时间格式为YYYYMMDDHHMISS)  各列的值应如下所示,每增加一行便加1,共500万行。

1,1,0000000001,0000000001,0000000001,0000000001,0000000001,0000000001,2005100110101

2,2,0000000002,0000000002,0000000002,0000000002,0000000002,0000000002,2005100110101

  1. #! /bin/bash


  2. for i in `seq 1 5000000`; do

  3.     n=`echo "$i"|awk '{print length($0)}'`

  4.     export m=$[10-$n]

  5.     export o=`perl -e '$a='0'; $b=$a x $ENV{"m"}; print $b;'`

  6.     export j=$i

  7.     p=`perl -e '$c=$ENV{"o"}.$ENV{"j"}; print $c;'`

  8.     echo "$i,$i,$p,$p,$p,$p,$p,$p,`date +%Y%m%d%H%M%S`"

  9. done


awk用print打印单引号 http://ask.apelearn.com/question/1738


awk '{print "This is a '"'"'"$1} filename 

解释一下:在awk中使用脱义字符\是起不到作用的,如果想打印特殊字符,只能使用'""' 这样的组合才可以。

这里自左至右为单引号 双引号 双引号 单引号其中两个单引号为一对,两个双引号为一对。想脱义$那就是'"$"' 脱义单引号那就是 '"'"'


合并两个文件 http://ask.apelearn.com/question/945


paste  filename1  filename2 

这样就可以实现了。举个例子。

cat  a.txt

1 2 3 

4 5 6 

a b c

cat b.txt

3 2 1 

6 5 4 

c b a 

则  paste  a.txt  b.txt  结果为

1 2 3   3 2 1

4 5 6   6 5 4

a b c   c b a

如果,你想在两个文件连接处用一个指定的字符连接,还可以用-d来指定

paste -d '+'  a.txt b.txt

结果为

1 2 3+3 2 1

4 5 6+6 5 4

a b c+c b a

awk的参考教程 http://www.cnblogs.com/emanlee/p/3327576.html