在python爬虫中正则表达式是一种强大的工具,可以帮助我们从网页中提取出需要的信息。正则表达式是由一些特殊字符和普通字符组成的模式,用来匹配字符串中的文本或者数字等。
- . 表示任意字符
- ^ 表示以某个字符开头
- $ 表示以某个字符结尾
- 表示前面的字符重复0次或多次
- 表示前面的字符重复1次或多次
- ? 表示前面的字符重复0次或1次
- [] 表示匹配括号内的任意一个字符
可能讲概念不容易懂,而且超级难理解,所以我直接举例,方便大家理解
1. 匹配URL地址
import re
text = "Visit my website at https://www.example.com"
pattern = r'https?://(?:[-\w.]|(?:%[\da-fA-F]{2}))+'
url = re.findall(pattern, text)
print(url)
上述代码使用正则表达式找到字符串中的URL地址,并将其存储在列表中。正则表达式‘https?://(?:[-\w.]|(?:%[\da-fA-F]{2}))+'
表示匹配以http或https开头的URL地址。
2. 匹配电子邮件地址
import re
text = "My email address is example@example.com"
pattern = r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b'
email = re.findall(pattern, text)
print(email)
上述代码使用正则表达式找到字符串中的电子邮件地址,并将其存储在列表中。正则表达式\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b
表示匹配符合电子邮件格式的地址
3. 匹配HTML标签
import re
html = '<div class="container"><p>Hello, World!</p></div>'
pattern = r'<.*?>'
tags = re.findall(pattern, html)
print(tags)
上述代码使用正则表达式找到HTML标签,并将其存储在列表中。正则表达式<.*?>
表示匹配所有的HTML标签。
除了re.findall()函数外,还有其他许多re模块中的正则表达式函数,例如re.search()、re.match()和re.sub()等。这些函数可用于在文本中查找、替换和提取信息。
那么该怎么和爬虫联系在一起,提取到我们想要的东西勒?
下面是,演示如何使用正则表达式在HTML页面中查找超链接:
import re
import requests
url = "https://www.example.com"
response = requests.get(url)
pattern = r'<a .*?href="(.*?)".*?>'
links = re.findall(pattern, response.text)
for link in links:
print(link)
上述代码中,我们请求了网页,使用requests库发送HTTP请求获取目标页面的内容,并使用re.findall()函数在HTML页面中查找与正则表达式匹配的所有超链接。正则表达式<a .*?href="(.*?)".*?>
表示匹配所有的超链接,并且提取出其中的URL地址。