正则表达式元字符:

^
  #锚定行的开始。如:/^sed/ 匹配所有以sed开头的行。

$
  #锚定行的结束。如:/sed$/ 匹配所有以sed结尾的行。

.
  #匹配一个非换行字符。 如:/s..d/ 匹配s后接任意两个个字符,最后是d。

*
  #匹配零个或多个字符。 如:/*sed/ 匹配所有模板是一个或多个空格后紧跟sed的行。

[]
  #匹配一个指定范围内的字符。 如/[Ss]ed/ 匹配Sed和sed。

[x-y]
  #匹配指定范围内的一个字符。 如 /[a-z]ed/ 匹配一个a-z之间任意字符后跟ed的行。

[^]
  #匹配一个不在指定范围内的字符,如:/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头,紧跟ed的行。

\
  #用来转义字符。 如: /sed\./匹配包含sed后面跟一个句点. (未经转义的句点通常匹配单个字符)

\<
  #词首定位符。 如:/\<love/匹配包含以love开头的单词的行。

\>
  #词尾定位符。 如/love\>/匹配包含以love结尾的单词的行。

\(..\)
  #匹配稍后将要使用的字符的标签。 如s/\(love\)able/\1rs,loveable被替换成lovers。
  #最多可以使用9个标签,模式中最左边的标签是第1个。用\1表示。

x\{m\}
  #重复字符x,m次,如:/0\{5\}/匹配包含5个o的行。

x\{m,\}
  #重复字符x,至少m次,如:/o\{5,\}/匹配至少有5个o的行。

x\{m,n\}
  #重复字符x,至少m次,不多于n次,如:/o\{5,10\}/匹配5--10个o的行。

&
  #保存搜索字符用来替换其他字符,如s/love/**&**/,love这成**love**。


Postfix方括号字符集:

[:alnum:]  #数字字符	
	
[:lower:]  #小写字母字符

[:alpha:]  #字母字符	
	
[:print:]  #可显示的字符

[:blank:]  #空格(space)与定位符(tab)字符	
	
[:punct:]  #标点符号字符

[:cntrl:]  #控制字符		

[:space:]  #空白(whitespace)字符

[:digit:]  #数字字符		

[:upper:]  #大写字母字符

[:graph:]  #非空格字符		

[:xdigit]  #十六进制数字


Sed学习:

1.sed选项:

-e command, --expression=command  #允许多项编辑。

-f, --filer=script-file  #指定sed脚本文件名。

-n, --quiet, --silent  #取消默认的输出。

-V, --version #打印版本和版权信息。

-h --help	 #打印帮助。


2.sed命令:

a\	#在当前行后添加一行或多行

c\	#用新文本修改(替换)当前行中的文本

d	#删除行

i\	#在当前行之前插入文本

h	#把模式空间里面的内容复制到暂缓冲区

H	#把模式空间里面的内容追加到暂缓冲区

g	#取出暂存缓冲区的内容,将其复制到模式空间,覆盖该处原有内容。

G	#取出暂存缓冲区的内容,将其复制到模式空间,追加在原有内容后面。

l	#列出非打印字符。

p	#打印行。

n	#读入下一输入行,并从下一条命令而不是第一条命令开始对其的处理。

q	#结束或退出sed。

r	#从文件中读取输入行。

!	#对所选行以外的所有行应用命令。

s	#用一个字符串替换另一个。


3.sed替换标志:

g	#在行内进行全局替换。

p	#打印行。

w	#将行写入文件。

x	#交换暂存缓冲区与模式空间的内容。

y	#将字符转换为另一字符(不能对正则表达式使用y命令)


sed示例:

[root@localhost mnt]# cat example.txt 
one line text
two line text
three line text
four line text
five line text
end line !!!


删除:d命令:

1.#删除文件中的第二行

[root@localhost mnt]# sed '2d' example.txt 
one line text
three line text
four line text
five line text
end line !!!

2.#删除文件中的最后一行

[root@localhost mnt]# sed '$d' example.txt 
one line text
two line text
three line text
four line text
five line text

3.#删除第三行到末尾所有行

[root@localhost mnt]# sed '3,$d' example.txt 
one line text
two line text

4.#删除文件中包含text的行

[root@localhost mnt]# sed '/text/'d example.txt 
end line !!!


替换:s命令:

1.#在整行范围内把e替换为E。如果没有g标记,则每行只匹配第一个e。

[root@localhost mnt]# sed 's/e/E/g' example.txt 
onE linE tExt
two linE tExt
thrEE linE tExt
four linE tExt
fivE linE tExt
End linE !!!

2.#(-n)选项和p标志一起使用表示只打印那些发生替换的行。

[root@localhost mnt]# sed -n 's/d/D/p' example.txt 
enD line !!!

3.#&符号表示替换换字符串中被找到的部份。

[root@localhost mnt]# sed -n 's/^end/&for/p' example.txt
endfor line !!!   #这里&替换成为end

4.#on标记为1,所有的one都会被替换为oncoming!

[root@localhost mnt]# sed -n 's/\(on\)e/\1coming/p' example.txt 
oncoming line text

5.#不论什么字符,紧跟着s命令的都被认为是新的分隔符,所以这里的#是分隔符;

[root@localhost mnt]# sed -n 's#one#Haha#p' example.txt 
Haha line text


选定行的范围:逗号

1.#所有在模板th和f所确定的范围内的行都被打印。

[root@localhost mnt]# sed -n '/th/,/f/p' example.txt 
three line text
four line text

2.#打印从第二行到第一个包含以four开始的行之间的所有行。

[root@localhost mnt]# sed -n '2,/^four/p' example.txt 
two line text
three line text
four line text

3.#对于模板one和three之间的行,每行的行首添加字符串Ceshi。

[root@localhost mnt]# sed '/one/,/three/s/^/Ceshi/' example.txt 
Ceshione line text
Ceshitwo line text
Ceshithree line text
four line text
five line text
end line !!!


多点编辑:e命令

1.#(e)选项允许在同一行里执行多条命令。

[root@localhost mnt]# sed -e '1,3d' -e 's/five/FFFF/' example.txt 
four line text
FFFF line text
end line !!!

2.#一个比-e更好的命令是--expression。它能给sed表达式赋值。

[root@localhost mnt]# sed --expression='s/one/ONE/' --expression='/h/d' example.txt 
ONE line text
two line text
four line text
five line text
end line !!!


从文件读入:r命令

1.#hosts文件内容被读进来,显示在与one匹配的行后面。
#如果匹配了多行,那么hosts内容将显示在所有的匹配行下面。

[root@localhost mnt]# sed '/one/r /etc/hosts' example.txt 
one line text
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
two line text
three line text
four line text
five line text
end line !!!


写入文件:w命令

1.#example中所有包含f的行都被写入到write.txt中。

[root@localhost mnt]# sed -n '/f/w write.txt' example.txt 
[root@localhost mnt]# cat write.txt 
four line text
five line text


追加命令:a命令

1.#“----->this is a test”被追加到匹配three的行后面,sed要求命令a后面有一个反斜杠。

[root@localhost mnt]# sed '/three/a\----->this is a test' example.txt
one line text
two line text
three line text
----->this is a test
four line text
five line text
end line !!!


插入:i命令

1.#“----->this is a new line”被插入到匹配three的行前面,sed要求命令i后面有一个反斜杠。

[root@localhost mnt]# sed '/three/i\----->this is a new line' example.txt 
one line text
two line text
----->this is a new line
three line text
four line text
five line text
end line !!!


下一个:n命令

1.#如果three被匹配,则移动到匹配行的下一行,替换这一行的line为LINE,并打印且继续。

[root@localhost mnt]# sed '/three/{n; s/line/LINE/; }' example.txt 
one line text
two line text
three line text
four LINE text
five line text
end line !!!


变形:y命令

1.#把1-3行内所有匹配line任意字母的字符转变为大写。注意:正则表达式元字符不能使用这个命令。

[root@localhost mnt]# sed '1,3y/line/LINE/' example.txt 
oNE LINE tExt
two LINE tExt
thrEE LINE tExt
four line text
five line text
end line !!!


退出:q命令

1.#打印第三行后退出sed。

[root@localhost mnt]# sed '3q' example.txt 
one line text
two line text
three line text


保持和获取:h命令和G命令

1.#在sed处理文件的时候,每一行都被保存在一个叫模式空间的临时缓冲区中,
#除非行被删除或者输出被取消,否则所有被处理的行都将打印在屏幕上。
#接着模式空间被清空,并存入新的一行等待处理。
#这里,匹配two的行存入模式空间,h命令将其复制并存入一个称为保持缓存区的特殊缓冲区内。
#第二条语句是当达到最后一行后,G命令取出保持缓冲区的行。

[root@localhost mnt]# sed -e '/two/h' -e '$G' example.txt 
one line text
two line text
three line text
four line text
five line text
end line !!!
two line text


保持和互换:h命令和x命令

1.#互换模式空间和保持缓冲区的内容。由结果可以得出匹配three的行将被two替换。

[root@localhost mnt]# sed -e '/two/h' -e '/three/x' example.txt 
one line text
two line text
two line text
four line text
five line text
end line !!!


AWK学习:


使用方法:

awk '{pattern + action}' {filenames}


AWK内置变量:

ARGC       #命令行参数个数

ARGV       #命令行参数排列

ENVIRON    #支持队列中系统环境变量的使用

FILENAME   #awk浏览的文件名

FNR        #浏览文件的记录数

FS         #设置输入域分隔符,等价于命令行 -F选项

NF         #浏览记录的域的个数

NR         #已经读出的记录数,就是行号,从1开始,如果有多个文件话,这个值也是不断累加中。

OFS        #输出字段分隔符, 默认也是空格

ORS        #输出的记录分隔符,默认为换行符

RS         #输入的记录分隔符, 默认为换行符

此外,$0变量是指整条记录。$1表示当前行的第一个域,$2表示当前行的第二个域,......以此类推


AWK入门指南http://awk.readthedocs.org/en/latest/chapter-one.html