linux工具之sed:

   sed:Stream EDitor,流编辑器,以行为单位对一个或多个文件进行编辑处理;每一次sed都会处理给定文件中的一行内容。

在sed处理文本时,将正在处理的当前行存储到临时的缓冲区中,称为“模式空间”;用当前行去匹配给定的PATTERN,如果能匹配,则使用command编辑处理;如果不匹配,则默认输出至标准输出;然后继续处理下一行,直到文件的末尾。

默认情况下,sed的所有处理行为不会影响源文件的内容;

我们一般会使用sed命令来自动编辑一个或多个文件,简化对文件的循环操作;


sed与grep、awk统称为文本处理三剑客:

grep:文本搜索

sed:文本编辑工具

awk:文件格式化工具


sed命令:一般都是位于‘’前方的位置

sed - stream editor for filtering and transforming text

sed [OPTION]... 'script' [input-file]...

 常用选项:

  -n, --quiet, --silent:对于不能匹配模式的行,默认不输出到屏幕;

  -e script, --expression=script:多条件编辑;

       -f script-file, --file=script-file:从指定的script-file中读取脚本

        注意:script-file为一个能够定位到脚本文件的路径,最好为绝对路径

       -i[SUFFIX], --in-place[=SUFFIX]:原文件直接编辑操作;

       -r, --regexp-extended:使sed支持扩展正则表达式;


script为:Addresses+Command


Addresses(地址定界):

      1.空地址:对所有文件的所有行进行处理;

      2.单地址:sed对于能够匹配该地址的那唯一一行进行处理;

      num:表示行号;

     /pattern/:能够匹配该模式的所有行;

      $:表示文档最后一行

     3.地址范围:

    addr1,addr2:从addr1开始到addr2结束的中间所有行;

  例如:2,8:表示从第二行到第八行


first~step:从first标记的行号开始,以step所代表的数字为步长;

 例如:1~2:表示以第一行为开始,跨过两行,代表从第1行到第3行


addr1,+N:从addr1开始,包括addr1所在行,并继续向后计算N行;

 例如:2,+7相当于2,2+7,表示从第2行到第9行


addr1,~N:从addr1开始,包括addr1所在行,向后计算addr1*N行;

 例如:2,~5相当于2,2*5,表示从第2行到第10行

/pattern1/,/pattern2/:从被pattern1匹配的第一行开始计算,一直到被/pattern2/匹配到的第一行结束;


Command(处理命令):

=:显示被模式匹配的行的行号

例如:sed -n '/^$/=' /etc/grub2.cfg

a \text:在被模式匹配的行的后面追加text的内容,支持使用\n换行,从而实现多行追加;

 例:1. 在第一行后面插入字符串this is two line

          sed '1a\this is two line' in.txt


     i \text:在被模式匹配的行的前面插入text的内容,支持使用\n换行,从而实现多行插入;

 例: 2. 在第二行前面插入字符串this is three line 

          sed '2i\this is three line' in.txt


c \text:将被模式匹配的行的修改为text的内容,支持使用\n换行,从而实现一行变多行;

 例:将pattern匹配到的行替换成first

    sed '/pattern/c\first'


d:在模式空间中删除被模式匹配的行;这样的行不能再进行标准输出;

 注意:在使用d命令的时候,不宜使用-n选项;

 例:删除in.txt中所有的包含test的行

          sed '/test/' d in.txt


     p:显示模式空间中被模式匹配的行;

 注意:在使用p命令的时候,通常会搭配-n选项;

 例: 打印第2行到最后一行

          sed -n '2,$p' in.txt


w filepath:将模式空间中被模式匹配的行,另存到filepath文件中;

 例:sed '/pattern/w' filepath


r filepath:将filepath文件的内容追加至模式空间中被模式匹配的行之后;

 !Command:在模式空间中被模式匹配的行,不执行Command命令;相反,未被模式匹配的行,参会执行

Command命令

s///:查找替换,分隔符可以任意更换,只要相同即可;

s@@@, s###, s,,,

s/pattern/text/[control]

s@/etc/fstab@/etc/mtab@

例:删除某文件中以空白字符后面跟#类的行中的开头的空白字符及#;

[root@localhost ~]# sed -r 's@^[[:space:]]+#@@g' shiyan1

              i am qinyaodong

              i am 22 years old

              i am a man

              #come on man 

              #you kwon man i loveyou  

     注释:其实这是运用了查找替换命令解决删除操作,就是用空白字符取代模式匹配到的内容,

 其中^[[:space:]]+#:代表以空白字符为首后面加#的匹配内容


pattern:计划查找并替换的内容

     text:要替换的结果

control:如何进行替换

 g:行内全部替换

 p:显示替换成功的行

 w filepath:将替换成功的行另存到filepath文件中;


 支持后向引用:

s/\(string\)/&/

s/\(string\)/\1/

注意:此处的后向引用与grep工具中的分组与引用是一样的。

例: 取出一个文件路径的目录名称;

       [root@localhost ~]# echo "/abc/def/" | sed -r 's@^(/.*/)[^/]+/?@\1@g'

        /abc/

    注释:首先,将/abc/def/利用分组分为3部分,然后\1代表取出第一个匹配到的内容


   高级编辑命令:

h: 把模式空间中的内容覆盖至保持空间中

H:把模式空间中的内容追加至保持空间中

g: 从保持空间取出数据覆盖至模式空间

G:从保持空间取出内容追加至模式空间

x: 把模式空间中的内容与保持空间中的内容进行互换

n: 读取匹配到的行的下一行覆盖至模式空间

N:追加匹配到的行的下一行至模式空间

d: 删除模式空间中的行

D:删除多行模式空间中的所有行