一、grep、sed、awk 概述
grep:文本过滤器,如果仅仅是过滤文本,可使用grep,其效率要比其他的高很多
sed:Stream EDitor,流编辑器,默认只处理模式空间,不处理原数据,如果你处理的数据是针对行进行处理的,可以使用sed
awk:报告生成器,格式化以后显示。如果对处理的数据需要生成报告之类的信息,或者你处理的数据是按列进行处理的,最好使用awk
grep
Linux系统中grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹 配的行打印出来。grep全称是Global Regular Expression Print,表示全局正则表达式版本,它的使用权限是所有用户。
sed
sed 是一种在线编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件;简化对文件的反复操作;编写转换程序等。
awk
awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。
awk有3个不同版本: awk、nawk和gawk,未作特别说明,一般指gawk,gawk是 AWK的 GNU版本
二、正则表达式基础
最简单的情况下,一个正则表达式看着就是一个普通的查找串。例如,正则表达式”file”中没有包含任何元字符,它可以匹配”file”和”file1”等字符串,但是不能匹配”File”。
要想真正的用好正则表达式,正确的理解元字符是最重要的事情。下表列出了常用元字符和对它们的一个简短的描述。
元字符 | 描述 |
. | 匹配任何单个字符。如:r.t 可以匹配 rot、rpt 等,但不能匹配 root |
^ | 匹配一行的开始。如:^you 可以匹配 “you should believe you can” 的开始,但不能匹配 “your firend believe you can” |
$ | 匹配行结束符。如:bash$,可以匹配末尾是 bash 的字符串,不能匹配末尾是 bash. 的字符串 |
* | 匹配0或多个正好在它之前的那个字符。例如正则表达式 .* 意味着能够匹配任意数量的任何字符 |
\ | 这是转译符,用来将后面所跟的元字符当作普通的字符来进行匹配 |
[ ]、[c1-c2]、[^c1-c2] | 匹配括号中的任何一个字符。可以在括号中使用连字符-来指定字符的区间;还可以制定多个区间;另一个重要的用法是“排除”,要想匹配除了指定区间之外的字符——在左边的括号和第一个字符之间使用^字符。 |
| | 将两个匹配条件进行逻辑“或”(or)运算。注意:这个元字符不是所有的软件都支持的。 |
+ | 匹配1或多个正好在它之前的那个字符。注意:这个元字符不是所有的软件都支持的。 |
? | 匹配0或1个正好在它之前的那个字符。注意:这个元字符不是所有的软件都支持的。 |