shell正则表达式

正则表达式概述

正则表达式，简写：re，全拼：（regular expression） 在某些地区，管它叫做，正规表达式、规则表达式

为什么要使用正则

主要功能

  • 主要是处理文本和子串
  • 处理有规律的内容
  • 正则一般给高级开发语言使用；如：Python，Go，C++，JAVA等

搜索和替换操作

但是一般的命令，搜索和替换缺乏灵活性，基本写死。 所以我们可以通过正则表达式，灵活的动态 匹配文本。 1.可以测试输入字符串 以查看字符串内是否出现电话号码模式或信用卡号码模式。这称为数据验证。 2.替换文本。 可以使用正则表达式来识别文档中的特定文本，完全删除该文本或者用其他文本替换它。 4.查找文档内或输入域内特定的文本。

在Linux中的分类

  • 修饰符：它主要不写在正则中，要写在正则的外面

  • 元字符：在Linux中会把这些符号区分开，划分为基础正则和扩展正则

    • 基础正则

      • 简写：bre
      • 全拼：basic regular expressio
      ^:以...开头
$:以...结尾
.:匹配任意字符
*:前面的字符出现0次或多次
[]:字符集合，匹配所包含的任意一个字符
[^]:字符集合的取反

    • 扩展正则

      • 简写：ere
      • 全拼：extended regular expression
      +：前面的一个字符，匹配一次或多次           awk -F '[: ]+' '{print $2}'
|：或者
()：
	1.被括起来的内容看做是一个整体
	2.在sed命令中做后向引用
{}：中间写一个非负整数，表示大括号前面的内容，出现指定次数
?：前面的内容，出现0次或1次

[root@web01 ~]# cat 2.txt 
555:3333333:::::22:111
[root@web01 ~]# awk -F '[:]' '{print $5}' 2.txt 

[root@web01 ~]# awk -F '[:]+' '{print $4}' 2.txt 
111

正则表达式使用误区

*：代表所有内容


{}：生成序列
echo {1..10}
echo {1..100}
echo {01..100}
[root@web01 ~]# echo {01..10}
01 02 03 04 05 06 07 08 09 10

echo {1..10..2}
[root@web01 ~]# echo {1..10..2}
1 3 5 7 9

echo {a,b,c}
echo {a..z}
echo {A..Z}
echo {a..z..2}
[root@web01 ~]# echo {a..z..2}
a c e g i k m o q s u w y

[root@m01 ~]# cp /usr/lib/systemd/system/nginx.service{,.bak}
[root@m01 ~]# cp /usr/lib/systemd/system/{nginx,a}.service


?：占位，代表一个字符
[root@web01 ~]# ls ?.sh
a.sh  b.sh  c.sh

[root@web01 ~]# ls ?ost_ip.sh
host_ip.sh
[root@web01 ~]# ls ??st_ip.sh
host_ip.sh

通配符：* {} ? [] [^]

正则表达式注意事项

1.所有符号皆为英文符号
2.使用三剑客时加引号
3.注意字符集，如果出现字符集问题，那么将字符集修改为C（小概率事件）
4.像素眼（空格，换行符，tab键）
5.测试的时候，推荐使用grep -E或者egrep，因为过滤出来的内容会加颜色

正则表达式-修饰符(标记)

标记也称为修饰符，正则表达式的标记用于指定额外的匹配策略。

下表列出了正则表达式常用的修饰符:

修饰符 含义 描述
i ignore - 不区分大小写 将匹配设置为不区分大小写，搜索时不区分大小写: A 和 a 没有区别。
g global - 全局匹配 查找所有的匹配项
m multi line - 多行匹配 使边界字符 ^ 和 $ 匹配每一行的开头和结尾，记住是多行，而不是整个字符串的开头和结尾
s 特殊字符圆点 . 中包含换行符 \n 默认情况下的圆点 . 是 匹配除换行符 \n 之外的任何字符，加上 s 修饰符之后, . 中包含换行符 \n。 
[root@web01 ~]# cat 2.txt 
/tmp/check_1.txt
/tmp/CHECK_.txt
/tmp/check_2.txt
/tmp/check_3.txt
/tmp/check_4.txt
/tmp	/check_5.txt
/tmp    /check_6.txt
/tmp/check_7.txt
/tmp/check_8.txt
/tmp/chec_9.txt
/tmp/chec_10.txt

[root@web01 ~]# awk '/[a-z]{5}_[0-9].txt/{print}' 2.txt
/tmp/check_1.txt
/tmp/check_2.txt
/tmp/check_3.txt
/tmp/check_4.txt
/tmp	/check_5.txt
/tmp    /check_6.txt
/tmp/check_7.txt
/tmp/check_8.txt

[root@web01 ~]# awk '/[a-z]_[0-9].txt/{print}' 2.txt
/tmp/check_1.txt
/tmp/check_2.txt
/tmp/check_3.txt
/tmp/check_4.txt
/tmp	/check_5.txt
/tmp    /check_6.txt
/tmp/check_7.txt
/tmp/check_8.txt
/tmp/chec_9.txt

[root@web01 ~]# awk '/[a-z]_[0-9]+.txt/{print}' 2.txt
/tmp/check_1.txt
/tmp/check_2.txt
/tmp/check_3.txt
/tmp/check_4.txt
/tmp	/check_5.txt
/tmp    /check_6.txt
/tmp/check_7.txt
/tmp/check_8.txt
/tmp/chec_9.txt
/tmp/chec_10.txt

image.png

image.png

符号 描述 应用场景
基础正则BRE
^ 以...开头 匹配以指定字符开头的内容：^zls
$ PLP以...结尾 匹配以指定字符结尾的内容：zls$
. 匹配除换行符（\n、\r）之外的任何单个字符 一般该元字符不单独用，配合*一起使用
* 前一个字符连续出现0次或多次 zl* 能匹配 "z" 以及 "zll",配合.使用要注意贪婪性
[] 字符集合，匹配所包含的任意一个字符 1.'[xyz]' 可以匹配 "zls" 中的 'z' 2.匹配数字[0-9] 3.小写字母[a-z] 4.大写字母[A-Z] 5.大小写都匹配a-z或者[a-Z] 6.在中括号中可以让特殊符号失去特殊含义 7.上面的大前提是^不能放第一个
[^] 反值字符集合，匹配未包含的任意字符 1.'xyz' 可以匹配 "zls" 中的 'ls' 2.匹配数字和 3.取出/etc/passwd第一列
\
\ 将下一个字符标记为一个特殊字符、或一个原义字符、或一个 向后引用、或一个八进制转义符
\n 匹配一个换行符 等价于 \x0a 和 \cJ
\r 匹配一个回车符(回车键) 等价于 \x0d 和 \cM
\t 匹配一个制表符(Tab键) 等价于 \x09 和 \cI
\v 匹配一个垂直制表符 等价于 \x0b 和 \cK
\f 换页符 等价于 \x0c 和 \cL
\b 匹配一个单词边界，也就是指单词和空格间的位置 'er\b' 可以匹配"never" 中的 'er'，但不能匹配 "verb" 中的 'er'
\B 匹配非单词边界 er\B' 能匹配 "verb" 中的 'er'，但不能匹配 "never" 中的 'er'
\d 匹配一个数字字符 等价于[0-9]
\D 匹配一个非数字字符 等价于0-9
\w 匹配字母、数字、下划线 等价于'[A-Za-z0-9_]'
\W 匹配非字母、数字、下划线 等价于'A-Za-z0-9_'
\s 匹配任何空白字符，包括空格、制表符、换页符等等 等价于 [ \f\n\r\t\v]
\S 匹配任何非空白字符 等价于 \f\n\r\t\v
扩展正则ERE
| 或者 等价于 \f\n\r\t\v
+ 前一个字符出现一次或者多次 'zl+' 能匹配 "zl" 以及 "zll"，但不能匹配 "z",+ 等价于 {1,}
{n} n 是一个非负整数。匹配确定的 n 次。 'o{2}' 不能匹配 "bo3" 中的 'o' 但是能匹配 "foot" 中的两个 o
{n,} n 是一个非负整数。匹配确定的 n 次。 'o{2,}' 不能匹配 "Bob" 中的 'o' 但能匹配 "foooood" 中的所有 o 'o{1,}' 等价于 'o+' 'o{0,}' 则等价于 'o*'
{n,m} m 和 n 均为非负整数，其中n <= m,最少匹配 n 次且最多匹配 m 次 "o{1,3}" 将匹配 "fooooood" 中的前三个 o 'o{0,1}' 等价于 'o?' 请注意在逗号和两个数之间不能有空格
() 1.被括起来的内容看做是一个整体 2.在sed命令中做后向引用 sed -nr 's#(.*)abc#\1#gp'
(?=pattern) 正向肯定预查look ahead（零宽断言） 使用grep -P来使用 下面我们在Perl语言正则中使用
(?<=pattern) 反肯定预查look behind（零宽断言） 使用grep -P来使用 下面我们在Perl语言正则中使用
? 匹配前一个字符出现0次或1次 "do(es)?" 可以匹配 "do" 或 "does" 。? 等价于 {0,1}

正则支持表

字符 说明 Basic RegEx Extended RegEx python RegEx Perl regEx
转义 \ \ \ \
^ 匹配行首，例如'^dog'匹配以字符串dog开头的行（注意：awk 指令中，'^'则是匹配字符串的开始） ^ ^ ^ ^
$ 匹配行尾，例如：'^、dog匹配以字符串为结尾的行（注意：指令中，'则是匹配字符串的结尾） $ $ $ $
^$ 匹配空行 ^$ ^$ ^$ ^$
^string$ 匹配行，例如：'^dog$'匹配只含一个字符串 dog 的行 ^string$ ^string$ ^string$ ^string$
< 匹配单词，例如：'<frog' （等价于'\bfrog'），匹配以 frog 开头的单词 < < 不支持 不支持（但可以使用\b来匹配单词，例如：'\bfrog'）
> 匹配单词，例如：'frog>'（等价于'frog\b '），匹配以 frog 结尾的单词 > > 不支持 不支持（但可以使用\b来匹配单词，例如：'frog\b'）
<x> 匹配一个单词或者一个特定字符，例如：'<frog>'（等价于'\bfrog\b'）、'<G>' <x> <x> 不支持 不支持（但可以使用\b来匹配单词，例如：'\bfrog\b'
() 匹配表达式，例如：不支持'（frog）' 不支持（但可以使用，如：dogdog () () ()
匹配表达式，例如：不支持'（frog）' 不支持（同()) 不支持（同()) 不支持（同())
？ 匹配前面的子表达式 0 次或 1 次（等价于{0,1}），例如：where(is)?能匹配"where" 以及"whereis" 不支持（同?) ？ ？ ？
? 匹配前面的子表达式 0 次或 1 次（等价于'{0,1}'），例如：'whereisis? '能匹配 "where"以及"whereis" ? 不支持（同?) 不支持（同?) 不支持（同?)
? 当该字符紧跟在任何一个其他限制符（*, +, ?, {n},{n,}, {n,m}） 后面时，匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如，对于字符串 "oooo"，'o+?' 将匹配单个"o"，而 'o+' 将匹配所有 'o' 不支持 不支持 不支持 不支持
. 匹配除换行符（'\n'）之外的任意单个字符（注意：awk 指令中的句点能匹配换行符） . .（如果要匹配包括“\n”在内的任何一个字符，请使用：'(^$)|（.） . .（如果要匹配包括“\n”在内的任何一个字符，请使用：' [.\n] '
* 匹配前面的子表达式 0 次或多次（等价于{0, }），例如：zo* 能匹配 "z"以及 "zoo" * * * *
+ 匹配前面的子表达式 1 次或多次（等价于'{1, }'），例如：'whereisis+ '能匹配 "whereis"以及"whereisis" + 不支持（同+) 不支持（同+) 不支持（同+)
+ 匹配前面的子表达式 1 次或多次（等价于{1, }），例如：zo+能匹配 "zo"以及 "zoo"，但不能匹配 "z" 不支持（同+) + + +
{n} n 必须是一个 0 或者正整数，匹配子表达式 n 次，例如：zo{2}能匹配 不支持（同{n}) {n} {n} {n}
{n,} "zooz"，但不能匹配 "Bob"n 必须是一个 0 或者正整数，匹配子表达式大于等于 n次，例如：go{2,} 不支持（同{n,}) {n,} {n,} {n,}
{n,m} 能匹配 "good"，但不能匹配 godm 和 n 均为非负整数，其中 n <= m，最少匹配 n 次且最多匹配 m 次 ，例如：o{1,3}将配"fooooood" 中的前三个 o（请注意在逗号和两个数之间不能有空格） 不支持（同{n,m}) {n,m} {n,m} {n,m}
x|y 匹配 x 或 y，例如： 不支持'z|（food）' 能匹配 "z" 或"food"；'（z|f）ood' 则匹配"zood" 或 "food" 不支持（同x|y) x|y x|y x|y
[0-9] 匹配从 0 到 9 中的任意一个数字字符（注意：要写成递增） [0-9] [0-9] [0-9] [0-9]
[xyz] 字符集合，匹配所包含的任意一个字符，例如：'[abc]'可以匹配"lay" 中的 'a'（注意：如果元字符，例如：. *等，它们被放在[ ]中，那么它们将变成一个普通字符） [xyz] [xyz] [xyz] [xyz]
[^xyz] 负值字符集合，匹配未包含的任意一个字符（注意：不包括换行符），例如：'abc' 可以匹配 "Lay" 中的'L'（注意：xyz在awk 指令中则是匹配未包含的任意一个字符+换行符） [^xyz] [^xyz] [^xyz] [^xyz]
[A-Za-z] 匹配大写字母或者小写字母中的任意一个字符（注意：要写成递增） [A-Za-z] [A-Za-z] [A-Za-z] [A-Za-z]
[^A-Za-z] 匹配除了大写与小写字母之外的任意一个字符（注意：写成递增） [^A-Za-z] [^A-Za-z] [^A-Za-z] [^A-Za-z]
\d 匹配从 0 到 9 中的任意一个数字字符（等价于 [0-9]） 不支持 不支持 \d \d
\D 匹配非数字字符（等价于 0-9） 不支持 不支持 \D \D
\S 匹配任何非空白字符（等价于\f\n\r\t\v） 不支持 不支持 \S \S
\s 匹配任何空白字符，包括空格、制表符、换页符等等（等价于[ \f\n\r\t\v]） 不支持 不支持 \s \s
\W 匹配任何非单词字符 (等价于A-Za-z0-9_) \W \W \W \W
\w 匹配包括下划线的任何单词字符（等价于[A-Za-z0-9_]） \w \w \w \w
\B 匹配非单词边界，例如：'er\B' 能匹配 "verb" 中的'er'，但不能匹配"never" 中的'er' \B \B \B \B
\b 匹配一个单词边界，也就是指单词和空格间的位置，例如： 'er\b' 可以匹配"never" 中的 'er'，但不能匹配 "verb" 中的'er' \b \b \b \b
\t 匹配一个横向制表符（等价于 \x09和 \cI） 不支持 不支持 \t \t
\v 匹配一个垂直制表符（等价于 \x0b和 \cK） 不支持 不支持 \v \v
\n 匹配一个换行符（等价于 \x0a 和\cJ） 不支持 不支持 \n \n
\f 匹配一个换页符（等价于\x0c 和\cL） 不支持 不支持 \f \f
\r 匹配一个回车符（等价于 \x0d 和\cM） 不支持 不支持 \r \r
\ 匹配转义字符本身"" \ \ \ \
\cx 匹配由 x 指明的控制字符，例如：\cM匹配一个Control-M 或回车符，x 的值必须为A-Z 或 a-z 之一，否则，将 c 视为一个原义的 'c' 字符 不支持 不支持 \cx
\xn 匹配 n，其中 n 为十六进制转义值。十六进制转义值必须为确定的两个数字长，例如：'\x41' 匹配 "A"。'\x041' 则等价于'\x04' & "1"。正则表达式中可以使用 ASCII 编码 不支持 不支持 \xn
\num 匹配 num，其中 num是一个正整数。表示对所获取的匹配的引用 不支持 \num \num
[:alnum:] 匹配任何一个字母或数字（[A-Za-z0-9]），例如：'[[:alnum:]] ' [:alnum:] [:alnum:] [:alnum:] [:alnum:]
[:alpha:] 匹配任何一个字母（[A－Za－z]）， 例如：' [[:alpha:]] ' [:alpha:] [:alpha:] [:alpha:] [:alpha:]
[:digit:] 匹配任何一个数字（[0-9]），例如：'[[:digit:]] ' [:digit:] [:digit:] [:digit:] [:digit:]
[:lower:] 匹配任何一个小写字母（[a-z]）， 例如：' [[:lower:]] ' [:lower:] [:lower:] [:lower:] [:lower:]
[:upper:] 匹配任何一个大写字母（[A-Z]） [:upper:] [:upper:] [:upper:] [:upper:]
[:space:] 任何一个空白字符： 支持制表符、空格，例如：' [[:space:]] ' [:space:] [:space:] [:space:] [:space:]
[:blank:] 空格和制表符（横向和纵向），例如：'[[:blank:]]'ó'[\s\t\v]' [:blank:] [:blank:] [:blank:] [:blank:]
[:graph:] 任何一个可以看得见的且可以打印的字符（注意：不包括空格和换行符等），例如：'[[:graph:]] ' [:graph:] [:graph:] [:graph:] [:graph:]
[:print:] 任何一个可以打印的字符（注意：不包括：[:cntrl:]、字符串结束符'\0'、EOF 文件结束符（-1）， 但包括空格符号），例如：'[[:print:]] ' [:print:] [:print:] [:print:] [:print:]
[:cntrl:] 任何一个控制字符（ASCII 字符集中的前 32 个字符，即：用十进制表示为从 0 到31，例如：换行符、制表符等等），例如：' [[:cntrl:]]' [:cntrl:] [:cntrl:] [:cntrl:] [:cntrl:]
[:punct:] 任何一个标点符号（不包括：[:alnum:]、[:cntrl:]、[:space:]这些字符集） [:punct:] [:punct:] [:punct:] [:punct:]
[:xdigit:] 任何一个十六进制数（即：0-9，a-f，A-F） [:xdigit:] [:xdigit:] [:xdigit:] [:xdigit:]

总结(常用)

  • 修饰符
i：忽略大小写
g：全局匹配
s：替换时使用 \.
m：多行匹配

  • 元字符

    • 基础正则
    .：匹配任意字符
*：匹配前面一个字符，0次或多次				    # 通配符：匹配所有内容    [a-z]*   =   [a-z]{,}  [a-z]{0,}
[]：字符集合									  # 通配符：和正则一样
[^]：非字符集合								 # 通配符：和正则一样
^：以...开头
$：以...结尾

    \：转义符
\t：制表符(Tab)
\n：换行符
\r：回车
\v：垂直制表符



\b：字符边界
\B：非字符边界
\d：数字  [0-9]
\D：非数字 [^0-9]
\w：大小写字母 数字 下划线 [a-z0-9A-Z_]
\W:大小写字母 数字 下划线取反 [^a-z0-9A-Z_]
\s：空白字符 [\n\v\t\r\f]
\S：非空白字符 [^\n\v\t\r\f]
    • 扩展正则
    {}：前面的内容出现的次数							# 通配符：生成序列
											          - touch {1..100}.txt
											          - echo {a..z..3}
											          - cp /etc/passwd{,.bak}
											          - cp /etc/sysconfig/network-scripts/ifcfg-eth{0,3}
{n}：{3}
{n,}：{3,}
{n,m}：{3,10}
n:代表最小值，m：代表最大值，只能是非负整数

?：匹配前面多个字符出现0次或1次      [a-z]?   =   [a-z]{,1}	 			 # 通配符：占位符（不能占空白字符）
+：匹配前面一个字符，出现1次或多次    [a-z]+   =   [a-z]{1,}
|：或者
()：把括起来的内容，当做整体
(?=)：正向预查，零宽断言，匹配左边内容
(?<=)：反向预查，零宽断言，匹配右边内容