python 正则表达 ctf Python 正则表达爬虫

正则表达式虽然不是python语言，但在python爬虫中却有着普遍的应用，可以说没有正则表达式的爬虫是一个没有灵魂的爬虫，话不多说，直接上干货！

 

首先介绍一个验证正则表达式的在线平台：https://regex101.com/

 

 

 

　　高亮部分即为提取到的内容。

 

元字符

1. \d    匹配所有数字
2. \w    匹配所有数字、字母、下划线
3. \D    除了数字以外的内容
4. \W    除了数字、字母、下划线以外的内容
5. \S    匹配所有非空白
6. [a,b,c]    匹配a，b，c的内容
7. [^a,b,c]    匹配除了a，b，c的内容
8. \s    匹配空白
9. \b    匹配单个单词边界

量词

1. 元字符+    元字符出现1次或多次（等同于{1, }）
2. 元字符*    前面的元字符出现0次或多次，尽可能多的拿到数据（等同于{0, }）
3. 元字符?    前面的元字符出现0次或一次

匹配字符

1. 数字        [0-9]
2. 小写字母        [a-z]
3. 大写字母        [A-Z]
4. 特殊字符        [\特殊字符]

^

1. 放在区间里表示取反

1. [^0-9]    表示匹配非数字
2. [^a-z]    表示匹配非小写字母

2. 放在区间外面表示匹配字符串开头（^python    表示以python开头的内容）

1. $    匹配字符串结尾（python$    表示以python结尾的单词）
2. ？    

1. 可以出现也可以不出现（colou?r    可以同时匹配color、colour）
2. 转换为非贪婪模式（\d{8,9}?    默认会匹配8和9位的数字，加上?后，只匹配8位的数字）

3. .    除了换行符以外的任意内容
4. {数字}    指定匹配次数（\d{9}指匹配9位数的数字）
5. {数字，数字}    指定匹配区间（\d{4, }指匹配4位以上的数字）

惰性匹配

1. .*    匹配最远的字符
2. .*?    匹配最近的字符（惰性匹配）
3. 字符串：今天晚上一起吃鸡呀（匹配：晚上.*?吃鸡）　　结果：晚上一起吃鸡

分组

1. 加括号就可分组(提取号码：0731-8283333的区号和正真的电话号码　　结果：\d{4}-\d{7})
2. eg：<div>holle</div>    <div>(.*?)</div>    不加括号是提取不出来的
3. |    或则条件        （.jpg|.gif|.jpeg|.png）表示匹配这几种后缀的图片格式
4. 非捕获分组    （?:表达式）

分组的回溯引用    

1. 提取标签中的文字 <font>提示</font>ge1:破坏标签，将</font>改为</br>结果：<(\w+)>(.*?)</\1>    \1 就为了保证和第一个分组一致
2. eg2:编写代码匹配符合ab ba         结果：(\w)(\w)\2\1
3. 环视/欲搜索

eg：在    我喜欢你    我喜欢  我喜欢我  喜欢  喜欢你

正向先行断言（?=表达式）    取出喜欢，喜欢的后面必须有”你“

反向先行断言    喜欢(?!你)    即喜欢后面没有”你“

正向后行断言(?<=我)喜欢(?=你) 喜欢的前面右”我“，后面有”你“

反向后行断言(?<!我)喜欢(?!你)    喜欢的前面没有我，后面没有你

 

本文均自己整理，时间也比较赶，可能有的地方会存在问题，可以评论留言，看到了就会改。