1. 通配符
1.1 通配符简介
通配符是一种特殊语句,主要有星号(*)、问号(?)等表示,用来模糊搜索文件,当查找目录或文件时,可以使用通配符来代替一个或多个真正字符。
作用范围:目录和文件名。
常见通配符:常用通配符包括 *、? 、[ ]、 [^ ] 、[! ]和{},具体含义见下表。
字符 | 含义 |
* | 匹符配任意字 |
? | 匹配单个字符 |
[] | 匹配方括号中的任意一个,不能用于创建目录和文件 |
[^] | 匹配方括号中的任意一个字符或数字后进行取反,等同于[! ],表示范围可以".."或"—”,用于查找和删除目录和文件,不用于创建目录和文件 |
[!] | 匹配方括号中的任意一个字符或数字后进行取反, 等同于[^ ],表示范围可以".."或"—", 用于查找和删除目录和文件,不用于创建目录和文件 |
[?-?] | 匹配方括号范围内任意一个,用于查询、删除,但不能用于创建目录和文件 |
{string,string} | 匹配括号中的任意一个字符串,表示一个范围时,字符串之间个".." |
1.2 通配符示例
[root@linuxforliuhj test]# ll
total 0
-rw-r--r--. 1 root root 0 Nov 3 00:09 alis.txt
-rw-r--r--. 1 root root 0 Nov 3 00:10 Alis.txt
-rw-r--r--. 1 root root 0 Nov 3 00:10 bouch.sh
-rw-r--r--. 1 root root 0 Nov 3 00:10 Bouch.sh
-rw-r--r--. 1 root root 0 Nov 3 00:10 count.jpg
-rw-r--r--. 1 root root 0 Nov 3 00:10 Count.jpg
-rw-r--r--. 1 root root 0 Nov 3 00:10 zero
-rw-r--r--. 1 root root 0 Nov 3 00:10 Zero
[root@linuxforliuhj test]#
- 匹配任意长度字符
[root@linuxforliuhj test]# ll *.sh
-rw-r--r--. 1 root root 0 Nov 3 00:10 bouch.sh
-rw-r--r--. 1 root root 0 Nov 3 00:10 Bouch.sh
[root@linuxforliuhj test]# ll *ou*
-rw-r--r--. 1 root root 0 Nov 3 00:10 bouch.sh
-rw-r--r--. 1 root root 0 Nov 3 00:10 Bouch.sh
-rw-r--r--. 1 root root 0 Nov 3 00:10 count.jpg
-rw-r--r--. 1 root root 0 Nov 3 00:10 Count.jpg
[root@linuxforliuhj test]#
- 匹配任意一个字符
[root@linuxforliuhj test]# ll ?e*
-rw-r--r--. 1 root root 0 Nov 3 00:10 zero
-rw-r--r--. 1 root root 0 Nov 3 00:10 Zero
[root@linuxforliuhj test]# ll ?ou*
-rw-r--r--. 1 root root 0 Nov 3 00:10 bouch.sh
-rw-r--r--. 1 root root 0 Nov 3 00:10 Bouch.sh
-rw-r--r--. 1 root root 0 Nov 3 00:10 count.jpg
-rw-r--r--. 1 root root 0 Nov 3 00:10 Count.jpg
- 匹配中括号中任意一个字符
[root@linuxforliuhj test]# ll [abz]*
-rw-r--r--. 1 root root 0 Nov 3 00:09 alis.txt
-rw-r--r--. 1 root root 0 Nov 3 00:10 bouch.sh
-rw-r--r--. 1 root root 0 Nov 3 00:10 zero
[root@linuxforliuhj test]#
- 匹配中括号范围内的任意一个字符
[root@linuxforliuhj test]# export LC_ALL=C
[root@linuxforliuhj test]# ll [a-z]*
-rw-r--r--. 1 root root 0 Nov 3 00:09 alis.txt
-rw-r--r--. 1 root root 0 Nov 3 00:10 bouch.sh
-rw-r--r--. 1 root root 0 Nov 3 00:10 count.jpg
-rw-r--r--. 1 root root 0 Nov 3 00:10 zero
[root@linuxforliuhj test]#
- 不匹配括号中的任意一个字符
[root@linuxforliuhj test]# ll [!abz]*
-rw-r--r--. 1 root root 0 Nov 3 00:10 Alis.txt
-rw-r--r--. 1 root root 0 Nov 3 00:10 Bouch.sh
-rw-r--r--. 1 root root 0 Nov 3 00:10 Count.jpg
-rw-r--r--. 1 root root 0 Nov 3 00:10 Zero
-rw-r--r--. 1 root root 0 Nov 3 00:10 count.jpg
[root@linuxforliuhj test]#
- 不匹配中括号范围内的任意一个字符
[root@linuxforliuhj test]# ll [!a-z]*
-rw-r--r--. 1 root root 0 Nov 3 00:10 Alis.txt
-rw-r--r--. 1 root root 0 Nov 3 00:10 Bouch.sh
-rw-r--r--. 1 root root 0 Nov 3 00:10 Count.jpg
-rw-r--r--. 1 root root 0 Nov 3 00:10 Zero
[root@linuxforliuhj test]#
2. grep命令
2.1 grep简介
grep(global search regular expression(RE) and print out the line),全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。
Unix的grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。egrep是grep的扩展,支持更多的re元字符, fgrep就是fixed grep或fast grep,它们把所有的字母都看作单词,也就是说,正则表达式中的元字符表示回其自身的字面意义,不再特殊。linux使用GNU版本的grep,它功能更强,可以通过-G、-E、-F命令行选项来使用egrep和fgrep的功能。
grep的工作方式是这样的,它在一个或多个文件中搜索字符串模板。如果模板包括空格,则必须被引用,模板后的所有字符串被看作文件名。搜索的结果被送到屏幕,不影响原文件内容。
grep可用于shell脚本,因为grep通过返回一个状态值来说明搜索的状态,如果模板搜索成功,则返回0,如果搜索不成功,则返回1,如果搜索的文件不存在,则返回2。我们利用这些返回值就可进行一些自动化的文本处理工作。
2.2 grep元字符集
^ | 锚定行首 如:'^grep'匹配所有以grep开头的行 |
$ | 锚定行尾 如:'grep$'匹配所有以grep结尾的行 |
. | 匹配一个非换行符的字符 如:'gr.p'匹配gr后接一个任意字符,然后是p |
* | 匹配零个或多个先前字符 如:'*grep'匹配所有一个或多个空格后紧跟grep的行。 .*一起用代表任意字符 |
[] | 匹配一个指定范围内的字符,如'[Gg]rep'匹配Grep和grep |
[^] | 匹配一个不在指定范围内的字符,如:'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一个字母开头,紧跟rep的行 |
.. | 标记匹配字符,如'love',love被标记为1 |
\< | 锚定单词的开始,如:'\<grep'匹配包含以grep开头的单词的行 |
\> | 锚定单词的结束,如'grep\>'匹配包含以grep结尾的单词的行 |
x\{m\} | 重复字符x,m次,如:'o\{5\}'匹配包含5个o的行 |
x\{m,\} | 重复字符x,至少m次,如:'o\{5,\}'匹配至少有5个o的行 |
x\{m,n\} | 重复字符x,至少m次,不多于n次,如:'o\{5,10\}'匹配5-10个o的行 |
\w | 匹配文字和数字字符,也就是[A-Za-z0-9],如:'G\w*p'匹配以G后跟零个或多个文字或数字字符,然后是p |
\W | \w的反置形式,匹配一个或多个非单词字符,如点号句号等 |
\b | 单词锁定符,如: '\bgrepb\'只匹配grep。 |
2.3 grep扩展字符集
用于egrep和 grep -E的元字符扩展集
+ | 匹配一个或多个先前的字符。如:'[a-z]+able',匹配一个或多个小写字母后跟able的串,如loveable,enable,disable等。 |
? | 匹配零个或多个先前的字符。如:'gr?p'匹配gr后跟一个或没有字符,然后是p的行。 |
a|b|c | 匹配a或b或c。如:grep|sed匹配grep或sed |
() | 分组符号,如:love(able|rs)ov+匹配loveable或lovers,匹配一个或多个ov。 |
x{m},x{m,},x{m,n} | 作用同x\{m\},x\{m,\},x\{m,n\} |
2.4 grep命令选项
--help | 在线帮助。 | |
-a | --text | 不要忽略二进制的数据。 |
-An | --after-context=n | 除了显示符合范本样式的那一列之外,并显示该列之后的内容。 |
-Bn | --before-context=n | 除了显示符合范本样式的那一列之外,并显示该列之前的内容。 |
-Cn | --context=n | 除了显示符合范本样式的那一列之外,并显示该列之前后的内容。 |
-b | --byte-offset | 在显示符合范本样式的那一列之前,标示出该列第一个字符的位编号。 |
-c | --count | 计算符合范本样式的列数。 |
-d | --directories | 当指定要查找的是目录而非文件时,必须使用这项参数,否则grep指令将回报信息并停止动作。 |
-e | --regexp | 指定字符串做为查找文件内容的范本样式。 |
-E | --extended-regexp | 将范本样式为延伸的普通表示法来使用。 |
-f | --file | 指定范本文件,其内容含有一个或多个范本样式,让grep查找符合范本条件的文件内容,格式为每列一个范本样式。 |
-F | --fixed-regexp | 将范本样式视为固定字符串的列表。 |
-G | --basic-regexp | 将范本样式视为普通的表示法来使用。 |
-h | --no-filename | 在显示符合范本样式的那一列之前,不标示该列所属的文件名称。 |
-H | --with-filename | 在显示符合范本样式的那一列之前,表示该列所属的文件名称。 |
-i | --ignore-case | 忽略字符大小写的差别。 |
-l | --file-with-matches | 列出文件内容符合指定的范本样式的文件名称。 |
-L | --files-without-match | 列出文件内容不符合指定的范本样式的文件名称。 |
-n | --line-number | 在显示符合范本样式的那一列之前,标示出该列的列数编号。 |
-q | --quiet或--silent | 不显示任何信息。 |
-r | --recursive | 此参数的效果和指定“-d recurse”参数相同。 |
-s | --no-messages | 不显示错误信息。 |
-v | --revert-match | 反转查找。 |
-V | --version | 显示版本信息。 |
-w | --word-regexp | 只显示全字符合的列。 |
-x | --line-regexp | 只显示全列符合的列。 |
-y | | 此参数的效果和指定“-i”参数相同。 |
#贪婪匹配
grep root passwd
#以root开头
grep ^root passwd
#以bash结尾
grep bash$ passwd
#忽略大小写
grep -i root passwd
#后面条件可以是一个正则表达式
grep -E "root|ROOT" passwd
#默认显示mail所在行
cat -b passwd | grep mail
#查看mail及上下两行
cat -b passwd | grep mail -2
#查看mail及下两行
cat -b passwd | grep mail -A2
#查看mail及上两行
cat -b passwd | grep mail -B2
#查看mail及上下两行
cat -b passwd | grep mail -C2
#在当前目录中,查找后缀有file字样的文件中包含test字符串的文件,并打印出该字符串的行
grep test *file
#以递归的方式查找符合条件的文件。例如,查找指定目录/etc/acpi 及其子目录(如果存在子目录的话)下所有文件中包含字符串"update"的文件,并打印出该字符串所在行的内容:
grep -r update /etc/acpi
#反向查找。前面各个例子是查找并打印出符合条件的行,通过"-v"参数可以打印出不符合条件行的内容
grep -v test *test*
#在某个文件夹下递归搜索含有特定字符的文件
grep -rl "^demo$" ./
3. sed命令
3.1 sed简介
sed是Stream Editor(流编辑器)的缩写,简称流编辑器,用来处理文件的。sed是一行一行读取文件内容并按照要求进行处理,把处理后的结果输出到屏幕。
何为流编辑器?就是把文本中的文字按照特定的分隔方式,进行数据流处理。sed就是基于这种方式,它是以换行符以分隔单位,对文本进行逐行的处理。处理时,把当前处理的行存储在临时缓冲区中,称为『模式空间』(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。sed主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等。
前提:首先对于一个文本文件来说,它是由至上而下的一行或N行组成。
- 当用sed命令对文本进行处理的时候,sed先读取对象的文本文件的第一行到模式空间中。
- 当有内容进入“模式空间”时,sed的编辑命令对模式空间中的内容进行编辑操作(修改,替换,删除,追加,显示等等)
- 模式空间中的内容编辑处理完成之后,sed把此内容通过标准输出(默认为显示器)打印出来,并删除模式空间中的内容。
- 第一行处理结束。从新读取第二行的内容进行处理,直到最后一行。
3.2 sed命令选项
-e | --expression | 以选项中指定的script来处理输入的文本文件 |
-f | --file | 以选项中指定的script文件来处理输入的文本文件 |
--help | 显示帮助 | |
-n | --quiet | 取消自动打印模式空间 |
--version | 显示版本信息 | |
-i | --inplace | 直接修改读取的文件内容,而不是输出到终端 |
3.3 sed命令动作
i | 插入 | 行前插入文本 |
a | 新增 | 行后插入文本 |
c | 取代 | 替换当前行 |
d | 删除 | 删除所选行 |
p | 打印 | 亦即将某个选择的数据印出。通常p会与参数sed-n一起运行 |
s | 取代 | 可以直接进行取代的工作哩!通常这个s的动作可以搭配正则表达式!例如s/old/new/g |
# 删除1/2行(源文件保持不变)
sed '1,2d' test.txt
# 删除1/2行
sed -i '1,2d' test.txt
#使用正则表达式选出符合条件的行
sed '/2/d' test.txt
#第四行后添加一行,并将结果输出到标准输出
sed -e 4a\newLine testfile
#新增行
sed '1a hello world' test.txt
#替换整行
sed '1c hello world' test.txt
#替换行内部分内容
sed 's/aa/AA/' test.txt
sed 's#aa#AA#' test.txt
sed 's@aa@AA@' test.txt
#限定在1行替换
sed '1s/aa/AA/g' test.txt
#限定在5行及以后替换
sed '5,$s/aa/AA/g' test.txt
#设定正则表达式
sed '/^[0-9]/s/aa/AA/g' test.txt
#搜索并输出行内容
sed '2p' test.txt
在sed中正则表达式是写在 /.../ 两个斜杠中间的,这个正则的意思是寻找所有包含2的行
sed正则中的元字符