正则表达式是处理字符串的强大工具,它有自己特定的语法结构,对于爬虫来说,它可以帮我们从HTML例提取我们想要的信息,实际上正则表达式应用非常广泛,如数据挖掘、数据分析、网络爬虫、输入有效性验证等。在python中我们可以用re模块来实现正则表达式。

正则表达式的功能非常强大,短短一节是讲不完的,对于新手来说,学习正则表达式可以浏览廖雪峰的官方网站
这里列出了常用的几个匹配规则:

模式

描述

\w

匹配字母、数字及下划线

\W

匹配不是字母、数字及下划线的字符

\s

匹配任意空白字符,等价于[\t\n\r\f]

\S

匹配任意非空白字符

\d

匹配任意数字,等价于[0-9]

\D

匹配任意非数字

\A

匹配字符串开头

\Z

匹配字符串结尾,如果存在换行,则匹配到换行前的结束字符串

\z

匹配字符串结尾,如果存在换行,还会匹配到换行符

\G

匹配最后匹配完成的位置

\n

匹配一个换行符

\t

匹配一个制表符

^

匹配一行字符串的开头

$

匹配一行字符串的结尾

.

匹配任意字符

[…]

用来表示一组字符,比如[abc]匹配a、b或c

[^…]

匹配不在[]内的字符,比如[^abc]匹配除了a、b或c以外的字符

*

匹配0个或多个表达式

+

匹配1个或多个表达式

?

匹配0个或1个前面的正则表达式定义的片段、非贪婪方式

{n}

精确匹配n个前面的表达式

{n, m}

匹配n到m次由前面表达式定义的片段,贪婪方式

a | b

匹配a或b

()

匹配括号内的表达式,也表示一个组

通过前几章我们已经学习了如何构建请求、如何获得网页信息以及使用正则表达式提取我们需要的内容,目前为止我们已经可以使用爬虫获取一些有用的信息了,下一章我们开始构建我们的第一个爬虫项目