实验环境：
VMware® Workstation 12 Pro
系统平台：
CentOS Linux release 7.4.1709 内核 3.10.0-693.el7.x86_64
这是第二篇学习笔记，如有错误请联系留言，谢谢。（因编辑器原因还在修改部分内容如有错误请指出） 18-5-17更新：~^ 匹配行首 中~为支持~起始的字符做正则表达式模式匹配，也可以说是匹配的意思；用法目前仅限 nginx中的正则匹配， 例如：server_name ~^www\d+.magedu.com$
在使用linux时，经常需要进行文件查找。其中查找的命令主要有find和grep。两个命令是有区的。 (1)find命令是根据文件的属性进行查找，如文件名，文件大小，所有者，所属组，是否为空，访问时间，修改时间等。（下一篇Linux文件查找就是在介绍命令：find） (2)grep是根据文件的内容进行查找，会对文件的每一行按照给定的模式(patter)进行匹配查找。
linux正则表达式
grep : 最早的文本匹配程序，基本正则表达式（BRE）来匹配文本。
egrep : 扩展式grep，其使用扩展式正规表达式（ERE）来匹配文本。
fgrep ： 快速grep，这个版本匹配固定字符串而非正则表达式。（不支持正则表达式搜索）
一、linux文本查找命令
对grep命令的介绍
作用：文本搜索工具，根据用户指定的“模式”对目标文本逐行进行匹配检查；打印匹配到的行
模式：由正则表达式字符及文本字符所编写的过滤条件
grep 命令
语法：grep [选项] (参数)
选项：
grep --color=auto ：对匹配到的文本着色显示（CentOS7里默认显示）
grep -v # 反向搜索
grep -i # 忽略大小写
grep -n # 显示匹配的行号
grep -c # 统计匹配的行数，不显示搜索结果
grep -o # 仅显示匹配到的字符串
grep -q # 静默 （不显示结果）
echo $? # 显示命令执行结果，正确为0，错误不为0
grep -A # 显示搜索行及其向下相邻的#行
grep -B # 显示搜索行及其向上相邻的#行
grep -C # 显示搜索行及其向上下相邻的#行
grep -e # 支持多个选项间
grep -e ‘root’ -e ‘bin’ /etc/passwd #多个选项间or关系
grep -w # 匹配整个单词
grep -E # 或egrep 支持扩展正则表达式
grep -F # 或fgrep 不支持扩展正则表达式
二、正则表达式介绍
正则表达式（REGEXP）：由一类特殊字符及文本字符所编写的模式，其中有 些字符（元字符）不表示字符字面意义，而表示控制或通配 的功能
程序支持：grep,sed,awk,vim, less,nginx,varnish等
分两类：
基本正则表达式：BRE
扩展正则表达式：ERE
grep -E, egrep
正则表达式引擎：
采用不同算法，检查处理正则表达式的软件模块 PCRE（Perl Compatible Regular Expressions）
元字符分类：字符匹配、匹配次数、位置锚定、分组
man 7 regex
基本正则表达式元字符
字符匹配:
. 匹配任意单个字符
( ) : 匹配方括号括起来的正则表达式群
[] 匹配指定范围内的任意单个字符，其中可用连字符（-）指的连续字符的范围
[^] 匹配指定范围外的任意单个字符
[:alnum:] 字母和数字
[:alpha:] 代表任何英文大小写字符，亦即 A-Z, a-z
[:lower:] 小写字母
[:upper:] 大写字母
[:blank:] 空白字符（空格和制表符）
[:space:] 水平和垂直的空白字符（比[:blank:]包含的范围广）
[:cntrl:] 不可打印的控制字符（退格、删除、警铃...）
[:digit:] 十进制数字
[:xdigit:]十六进制数字
[:graph:] 可打印的非空白字符
[:print:] 可打印字符
[:punct:] 标点符号
匹配次数： 用在要指定次数的字符后面，用于指定前面的字 符要出现的次数
* 匹配前面的字符任意次，包括0次 （贪婪模式：尽可能长的匹配 ）
.* 任意长度的任意字符
\ 通常用于打开或关闭后续字符的特殊含义
\| 或者（ 匹配|符号前或后的正则表达式）
\? 匹配其前面的字符0或1次
\+ 匹配其前面的字符至少1次
\{n\} 匹配前面的字符n次
\{m,n\} 匹配前面的字符至少m次，至多n次
\{,n\} 匹配前面的字符至多n次
\{n,\} 匹配前面的字符至少n次
位置锚定：定位出现的位置
^ 行首锚定，用于模式的最左侧
$ 行尾锚定，用于模式的最右侧
^PATTERN$ 用于模式匹配整行
^$ 空行
^[[:space:]]*$ 空白行
\< 或 \b 词首锚定，用于单词模式的左侧
\> 或 \b 词尾锚定；用于单词模式的右侧
\<PATTERN\> 匹配整个单词
分组
分组：\(\) 将一个或多个字符捆绑在一起，当作一个整体进 行处理，如：\(root\)\+
分组括号中的模式匹配到的内容会被正则表达式引擎记录于 内部的变量中，这些变量的命名方式为: \1, \2, \3, ...
\1 表示从左侧起第一个左括号以及与之匹配右括号之间的 模式所匹配到的字符
示例：
\(string1\+\(string2\)*\)
\1 ：string1\+\(string2\)*
\2 ：string2
后向引用：引用前面的分组括号中的模式所匹配字符，而非 模式本身
或者：\|
示例：
a\|b: a或b C\|cat: C或cat \(C\|c\)at:Cat或cat
三、拓展正则表达式
egrep = grep -E
egrep [OPTIONS] PATTERN [FILE...]
扩展正则表达式的元字符：
字符匹配：
. 任意单个字符
[] 指定范围的字符
[^] 不在指定范围的字符
次数匹配：
*：匹配前面字符任意次
?: 0或1次 +：1次或多次
{m}：匹配m次
{m,n}：至少m，至多n次
位置锚定：
^ :行首
$ :行尾
\<, \b :语首
\>, \b :语尾
分组
() 后向引用：\1, \2, ...
或者：
a|b: a或b C|cat: C或cat (C|c)at:Cat或cat
（实例操作使用CentOS7.4版本做的，可能会与6的系统有出入）
实例 1 正则表达式
1、显示/proc/meminfo文件中以大小s开头的行(两种方法)
方法1 grep -i "^s" /proc/meminfo [root@centos7 ~]# grep -i "^s" /proc/meminfo #-i 忽略大小写 ^行首锚定"s"参数 SwapCached: 0 kB SwapTotal: 2097148 kB SwapFree: 2097148 kB Shmem: 9260 kB Slab: 74036 kB SReclaimable: 28260 kB SUnreclaim: 45776 kB
方法2 grep "^[S\|s]" /proc/meminfo [root@centos7 ~]# grep "^[S\|s]" /proc/meminfo # ^行首锚定"[S\|s]"S或s SwapCached: 0 kB SwapTotal: 2097148 kB SwapFree: 2097148 kB Shmem: 9260 kB Slab: 74036 kB SReclaimable: 28260 kB SUnreclaim: 45776 kB
2、显示/etc/passwd文件中不以/bin/bash结尾的行
[root@centos7 ~]# grep -v "/bin/bash$" /etc/passwd # -v 反向搜索 "\(bin/bash\)$"以bin/bash结尾的行（因输出结果只去了一部分） bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin sync:x:5:0:sync:/sbin:/bin/sync shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown halt:x:7:0:halt:/sbin:/sbin/halt mail:x:8:12:mail:/var/spool/mail:/sbin/nologin operator:x:11:0:operator:/root:/sbin/nologin games:x:12:100:games:/usr/games:/sbin/nologin ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin nobody:x:99:99:Nobody:/:/sbin/nologin
3、显示用户rpc默认的shell程序
[root@centos7 ~]# cat /etc/passwd |grep "^\(rpc\)\b" |cut -d: -f 7 # grep "^(rpc)\b" 取出以用户rpc开头的行\b可以换成>（后边不再做说明） ,cut -d: -f 7 以：做分隔符取第七列 /sbin/nologin
4、找出/etc/passwd中的两位或三位数
root@centos7 ~]# grep -o "\b[0-9]\{2,3\}\b" /etc/passwd #(输出值太多只取一部分) 12 11 12
5、显示CentOS7的/etc/grub2.cfg文件中，至少以一个空白字符开头的且后面存非空白字符的行
[root@centos7 ~]# grep "^[[:space:]]\+[^[:space:]]" /etc/grub2.cfg #^[[:space:]]\+以一个以上空白开头的[^[:space:]]且后边为非空白的行(输出值太多只取一部分) load_env set default="${next_entry}" set next_entry= save_env next_entry set boot_once=true set default="${saved_entry}" menuentry_id_option="--id" menuentry_id_option="" set saved_entry="${prev_saved_entry}" save_env saved_entry set prev_saved_entry=
6、找出“netstat -tan”命令的结果中以‘LISTEN’后跟任意多个空白字符结尾的行
[root@centos7 ~]# netstat -tan |grep "LISTEN[[:space:]]\*$" #[[:space:]]+$以一个以上空白结尾且前边为‘LISTEN’ tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN
tcp 0 0 192.168.122.1:53 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN
tcp 0 0 127.0.0.1:631 0.0.0.0:* LISTEN
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN
tcp 0 0 127.0.0.1:6010 0.0.0.0:* LISTEN
tcp6 0 0 :::111 :::* LISTEN
tcp6 0 0 :::22 :::* LISTEN
tcp6 0 0 ::1:631 :::* LISTEN
tcp6 0 0 ::1:25 :::* LISTEN
tcp6 0 0 ::1:6010 :::* LISTEN
7、显示CentOS7上所有系统用户的用户名和UID
[root@centos7 ~]# cat /etc/passwd |cut -d: -f1,3 |grep "\b[0-9]\{1,3\}\b" #先把用户和UID竖列利用cut命令切出来，再执行grep命令取出UID（系统用户UID小于1000，CentOS7以前的版本小于500）(输出值太多只取一部分) root:0 bin:1 daemon:2 adm:3 lp:4 sync:5 shutdown:6 halt:7 mail:8 operator:11 games:12 ftp:14 nobody:99 systemd-network:192
8、添加用户bash、testbash、basher、sh、nologin(其shell为/sbin/nologin),找出"/etc/passwd"用户名同"shell"名的行
[root@centos7 ~]# useradd sh #创建用户sh [root@centos7 ~]# useradd bash #创建用户bash [root@centos7 ~]# useradd testbash #创建用户testbash [root@centos7 ~]# useradd -s /sbin/nologin nologin 创建用户nologin同时设置shell为/shin/nologin ''' [root@centos7 ~]# cat /etc/passwd |grep "^\(.*\)\b.*/\1$" ''' #利用分组^段落开头(.*)用小括号引起来为后项引用里边的.*为任意字符\b词尾锚定.*中间任意字符，/\1$ 中/目录分割符\1$段落结尾引用前项用小括号引起的部分（分组引用的是命令结果而非命令本身） sync:x:5:0:sync:/sbin:/bin/sync shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown halt:x:7:0:halt:/sbin:/sbin/halt nologin:x:1003:1003::/home/nologin:/sbin/nologin bash:x:1005:1005::/home/bash:/bin/bash
9、利用df和grep，取出磁盘各分区利用率，并从大到小排序
[root@centos7 ~]# df |grep -o "[0-9]\{1,3\}%" | sort -rn #"[0-9]\{1,3\}%" 硬盘的利用率为百分之最多100%所以取三位数，后边加%以表示是百分数。 70% 18% 1% 1% 1% 0% 0% 0%
实例 2 ：扩展正则表达式
1、显示三个用户root、mage、wang的UID和默认shell
方法一：扩展正则表达式也可以用标准正则表达式
[root@centos7 ~]# egrep -e^"mage" -e^"wang" -e"^root" /etc/passwd |cut -d: -f 3,7 #方法一利用的是grep多选项搜索-e区分链接选项用标准正则表达式也可以 0:/bin/bash 1001:/bin/bash 1002:/bin/bash
方法二:扩展正则表达式
[root@centos7 ~]# egrep "^(mage|wang|root)\>" /etc/passwd |cut -d: -f 3,7 #方法二利用或"|"扩展正则表达式。 0:/bin/bash 1001:/bin/bash 1002:/bin/bash
方法3：标准正则表达式
[root@centos7 ~]# grep "^\(mage\|wang\|root)\>" /etc/passwd|cut -d: -f 3,7 #方法二利用或"|"标准正则表达式。 0:/bin/bash 1001:/bin/bash 1002:/bin/bash
2、找出/etc/rc.d/init.d/functions文件中行首为某单词(包括下划线)后面跟一个小括号的行
[root@centos6 q]# egrep "^[_[:alnum:]]+\(\)" /etc/rc.d/init.d/functions #行首锚定，下划线"_"、字母或数字一次以上，后边跟小括号"()" fstab_decode_str() { checkpid() { __readlink() { __fgrep() { __kill_pids_term_kill_checkpids() { echo_success() { echo_failure() { echo_passed() { echo_warning() { update_boot_stage() { success() { failure() {
3、使用egrep取出/etc/rc.d/init.d/functions中其基名
基名为文件名或目录最后一字符串
[root@centos7 ~]# echo /etc/rc.d/init.d/functions |egrep -o "[^/]+/?$" #-o仅显示匹配到的字符串，"[^/]+"行首非以一个以上/字符开头，"/?$"零或一个"/"结尾的字符(目录是以/来做分割的) functions
4、使用egrep取出上面路径的目录名
[root@centos7 ~]# echo /etc/rc.d/init.d/functions |egrep -o "/.*/<" #-o仅显示匹配到的字符串，"/.*/<" 以"/"开始的任意字符以"/"结尾，"<"词首锚定表示后边还有字符串。（目录是以/来做分割的) /etc/rc.d/init.d/
[root@centos6 q]# echo /etc/rc.d/init.d/functions | egrep -o ".*/." |egrep -o ".*/" #-o仅显示匹配到的字符串，以任意字符开头且为"/"结尾的字符串，重复操作两次。 /etc/rc.d/init.d/
5、统计last命令中以root登录的每个主机IP地址登录次数
[root@centos7 ~]# last # last输出结果 root pts/0 192.168.217.1 Sat Jan 20 23:25 still logged in
root pts/1 192.168.217.1 Sat Jan 20 19:28 - 22:10 (02:42)
root pts/0 192.168.217.1 Sat Jan 20 16:27 - 22:11 (05:43)
reboot system boot 3.10.0-693.el7.x Sat Jan 20 16:26 - 02:06 (09:40)
root pts/1 192.168.217.1 Sat Jan 20 03:12 - 05:35 (02:22)[root@centos7 ~]# last |egrep "^root\b" |egrep -o "([0-9]{1,3}\.){3}[0-9]{1,3}" |uniq -c #做两次搜索，"^root\b"行首以root开头（词尾锚定）-o仅显示匹配到的字符串"([0-9]{1,3}\.){3}[0-9]{1,3}"0-9重复1到3次表示三位数.表示IP地址分割符()小括号括起来表示一个整体，再重复3次IP地址前三位就有了，最后[0-9]{1,3}表示最后一位IP地址。 5 192.168.217.1 1 172.18.251.157 1 192.168.217.1 1 172.18.251.157
6、利用扩展正则表达式分别表示0-9、10-99、100-199、200-249、250-255
[0-9] [1-9][0-9] 1[0-9][0-9] 2[0-4][0-9] 25[0-5] #[0-9]表示0-9，[1-9][0-9]1-9和0-9组和起来就是10-99,1[0-9][0-9]第一位是1已经确定23位都是0-9组和起来就是100-199，2[0-4][0-9]第一位确定是2第二位是0-4第三位是0-9组和起来就是200-249，250-255第一位和第二位确定下来是25第三位是0-5组和起来就是250-255
7、显示ifconfig命令结果中所有IPv4地址
[root@centos7 ~]# ifconfig |egrep -o "\b(([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9]{2} |1[0-9][0-9]|2[0-4][0-9]|25[0-5])\b" #上两题的结合，IP地址最大255. 172.18.250.135 255.255.0.0 172.18.255.255 192.168.217.131 255.255.255.0 192.168.217.255 127.0.0.1 255.0.0.0 192.168.122.1 255.255.255.0 192.168.122.255
[root@centos7 ~]# ifconfig |egrep netmask |tr -s ' ' : |cut -d: -f3 #这个是只取IP地址没有掩码和网管，先搜出netmask三行在做分割 172.18.250.135 192.168.217.131 127.0.0.1 192.168.122.1
8、将此字符串：welcome to magedu linux 中的每个字符去重并排序，重复次数多的排到前面
[root@centos7 ~]# echo welcome to magedu linux |grep -o . |sort |uniq -c |sort -rn #先用"grep -o ."点表示任意单个字符，-o把匹配到的单个字符成竖列排列出来，排序，去重，再排序。 3 e 3
2 u 2 o 2 m 2 l 1 x 1 w 1 t 1 n 1 i 1 g 1 d 1 c 1 a
9、显示/run/media/root/CentOS 7 x86_64/Packages/目录下的rpm包的.格式架构（.x86_64.rpm中.rpm前一部分）并查重复数量
取出一部分的结果 zlib-devel-1.2.7-17.el7.x86_64.rpm zlib-static-1.2.7-17.el7.i686.rpm zlib-static-1.2.7-17.el7.x86_64.rpm
方法1：利用拓展正则表示式 [root@centos7 Packages]# ls *.rpm |egrep -o "\.[[:alnum:]_]+\.rpm$" |cut -d. -f2 |sort|uniq -c #ls先选出以.rpm结尾的rpm包再用egrep显示以点开头后边跟字母、数字或下划线的任意个字符,以.rpm结尾的字符串，剪切、排序、去重。 2141 i686 3076 noarch 4374 x86_64
方法2： 不用正则表达式 [root@centos7 Packages]# ls *.rpm |rev|cut -d. -f2|rev|sort|uniq -c #显示以.rpm结尾的rpm包，“rev”左右翻转，剪切再翻转。排序、去重。 2141 i686 3076 noarch 4374 x86_64
