linux工具之sed:
sed:Stream EDitor,流编辑器,以行为单位对一个或多个文件进行编辑处理;每一次sed都会处理给定文件中的一行内容。
在sed处理文本时,将正在处理的当前行存储到临时的缓冲区中,称为“模式空间”;用当前行去匹配给定的PATTERN,如果能匹配,则使用command编辑处理;如果不匹配,则默认输出至标准输出;然后继续处理下一行,直到文件的末尾。
默认情况下,sed的所有处理行为不会影响源文件的内容;
我们一般会使用sed命令来自动编辑一个或多个文件,简化对文件的循环操作;
sed与grep、awk统称为文本处理三剑客:
grep:文本搜索
sed:文本编辑工具
awk:文件格式化工具
sed命令:一般都是位于‘’前方的位置
sed - stream editor for filtering and transforming text
sed [OPTION]... 'script' [input-file]...
常用选项:
-n, --quiet, --silent:对于不能匹配模式的行,默认不输出到屏幕;
-e script, --expression=script:多条件编辑;
-f script-file, --file=script-file:从指定的script-file中读取脚本
注意:script-file为一个能够定位到脚本文件的路径,最好为绝对路径
-i[SUFFIX], --in-place[=SUFFIX]:原文件直接编辑操作;
-r, --regexp-extended:使sed支持扩展正则表达式;
script为:Addresses+Command
Addresses(地址定界):
1.空地址:对所有文件的所有行进行处理;
2.单地址:sed对于能够匹配该地址的那唯一一行进行处理;
num:表示行号;
/pattern/:能够匹配该模式的所有行;
$:表示文档最后一行
3.地址范围:
addr1,addr2:从addr1开始到addr2结束的中间所有行;
例如:2,8:表示从第二行到第八行
first~step:从first标记的行号开始,以step所代表的数字为步长;
例如:1~2:表示以第一行为开始,跨过两行,代表从第1行到第3行
addr1,+N:从addr1开始,包括addr1所在行,并继续向后计算N行;
例如:2,+7相当于2,2+7,表示从第2行到第9行
addr1,~N:从addr1开始,包括addr1所在行,向后计算addr1*N行;
例如:2,~5相当于2,2*5,表示从第2行到第10行
/pattern1/,/pattern2/:从被pattern1匹配的第一行开始计算,一直到被/pattern2/匹配到的第一行结束;
Command(处理命令):
=:显示被模式匹配的行的行号
例如:sed -n '/^$/=' /etc/grub2.cfg
a \text:在被模式匹配的行的后面追加text的内容,支持使用\n换行,从而实现多行追加;
例:1. 在第一行后面插入字符串this is two line
sed '1a\this is two line' in.txt
i \text:在被模式匹配的行的前面插入text的内容,支持使用\n换行,从而实现多行插入;
例: 2. 在第二行前面插入字符串this is three line
sed '2i\this is three line' in.txt
c \text:将被模式匹配的行的修改为text的内容,支持使用\n换行,从而实现一行变多行;
例:将pattern匹配到的行替换成first
sed '/pattern/c\first'
d:在模式空间中删除被模式匹配的行;这样的行不能再进行标准输出;
注意:在使用d命令的时候,不宜使用-n选项;
例:删除in.txt中所有的包含test的行
sed '/test/' d in.txt
p:显示模式空间中被模式匹配的行;
注意:在使用p命令的时候,通常会搭配-n选项;
例: 打印第2行到最后一行
sed -n '2,$p' in.txt
w filepath:将模式空间中被模式匹配的行,另存到filepath文件中;
例:sed '/pattern/w' filepath
r filepath:将filepath文件的内容追加至模式空间中被模式匹配的行之后;
!Command:在模式空间中被模式匹配的行,不执行Command命令;相反,未被模式匹配的行,参会执行
Command命令
s///:查找替换,分隔符可以任意更换,只要相同即可;
s@@@, s###, s,,,
s/pattern/text/[control]
s@/etc/fstab@/etc/mtab@
例:删除某文件中以空白字符后面跟#类的行中的开头的空白字符及#;
[root@localhost ~]# sed -r 's@^[[:space:]]+#@@g' shiyan1
i am qinyaodong
i am 22 years old
i am a man
#come on man
#you kwon man i loveyou
注释:其实这是运用了查找替换命令解决删除操作,就是用空白字符取代模式匹配到的内容,
其中^[[:space:]]+#:代表以空白字符为首后面加#的匹配内容
pattern:计划查找并替换的内容
text:要替换的结果
control:如何进行替换
g:行内全部替换
p:显示替换成功的行
w filepath:将替换成功的行另存到filepath文件中;
支持后向引用:
s/\(string\)/&/
s/\(string\)/\1/
注意:此处的后向引用与grep工具中的分组与引用是一样的。
例: 取出一个文件路径的目录名称;
[root@localhost ~]# echo "/abc/def/" | sed -r 's@^(/.*/)[^/]+/?@\1@g'
/abc/
注释:首先,将/abc/def/利用分组分为3部分,然后\1代表取出第一个匹配到的内容
高级编辑命令:
h: 把模式空间中的内容覆盖至保持空间中
H:把模式空间中的内容追加至保持空间中
g: 从保持空间取出数据覆盖至模式空间
G:从保持空间取出内容追加至模式空间
x: 把模式空间中的内容与保持空间中的内容进行互换
n: 读取匹配到的行的下一行覆盖至模式空间
N:追加匹配到的行的下一行至模式空间
d: 删除模式空间中的行
D:删除多行模式空间中的所有行