上篇详细介绍了一下正则表达式的常用知识点。这一篇我们开启正则表达式里的search()
方法和一些其他的方法。
search()
我们在前一篇提到过match()方法是从字符串的开头开始匹配,一旦开头不匹配,那么整个匹配就失败了。
我们看下面的例子:
import re
content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
result = re.match('Hello.*?(\d+).*?Demo', content)
print(result)
在这里我们有一个字符串,它是以Extra
开头的,但是正则表达式我们是以Hello
开头的,整个正则表达式是字符串的一部分,但是这样匹配是失败的,也就是说只要第一个字符不匹配整个匹配就不能成功,运行结果如下:
None
所以match()方法在我们在使用的时候需要考虑到开头的内容,所以在做匹配的时候并不那么方便,它适合来检测某个字符串是否符合某个正则表达式的规则。
所以在这里就有另外一个方法search(),它在匹配时会扫描整个字符串,然后返回第一个成功匹配的结果,也就是说,正则表达式可以是字符串的一部分,在匹配时,search()方法会依次扫描字符串,直到找到第一个符合规则的字符串,然后返回匹配内容,如果搜索完了还没有找到,那就返回None。
我们把上面的代码中的match()方法修改成search(),再看下运行结果:
<_sre.SRE_Match object; span=(13, 53), match='Hello 1234567 World_This is a Regex Demo'>
这样就得到了匹配结果。
所以说,为了匹配方便,我们可以尽量使用search()方法。
下面我们再用几个实例来感受一下search()方法的用法。
首先这里有一段待匹配的HTML文本,我们接下来写几个正则表达式实例来实现相应信息的提取。
这里写代码片html = '''<div id="songs-list">
<h2 class="title">经典老歌</h2>
<p class="introduction">
经典老歌列表
</p>
<ul id="list" class="list-group">
<li data-view="2">一路上有你</li>
<li data-view="7">
<a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
</li>
<li data-view="4" class="active">
<a href="/3.mp3" singer="齐秦">往事随风</a>
</li>
<li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
<li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
<li data-view="5">
<a href="/6.mp3" singer="邓丽君"><i class="fa fa-user"></i>但愿人长久</a>
</li>
</ul>
</div>'''
观察到<ul>
节点里面有许多<li>
节点,其中<li>
节点有的包含<a>
节点,有的不包含<a>
节点,<a>
节点还有一些相应的属性,超链接和歌手名。
首先我们尝试提取class
为active
的<li>
节点内部的超链接包含的歌手名和歌名。
所以我们需要提取第三个<li>
节点下的<a>
节点的singer
属性和文本。
所以正则表达式可以以<li>
开头,然后接下来寻找一个标志符active
,中间的部分可以用.*?
来匹配,然后接下来我们要提取singer
这个属性值,所以还需要写入singer="(.*?)"
,我们需要提取的部分用小括号括起来,以便于用group()
方法提取出来,它的两侧边界是双引号,然后接下来还需要匹配<a>
节点的文本,那么它的左边界是>
,右边界是</a>
,所以我们指定一下左右边界,然后目标内容依然用(.*?)
来匹配,所以最后的正则表达式就变成了<li.*?active.*?singer="(.*?)">(.*?)</a>'
,然后我们再调用search()
方法,它便会搜索整个HTML文本,找到符合正则表达式的第一个内容返回。
另外由于代码有换行,所以这里第三个参数需要传入re.S
所以整个匹配代码如下:
result = re.search('<li.*?active.*?singer="(.*?)">(.*?)</a>', html, re.S)
if result:
print(result.group(1), result.group(2))
由于我们需要获取的歌手和歌名都已经用了小括号包围,所以可以用group()方法获取,序号依次对应group()的参数。
运行结果:
齐秦 往事随风
可以看到这个正是我们想提取的class为active的<li>
节点内部的超链接包含的歌手名和歌名。
那么正则表达式不加active会怎样呢?也就是匹配不带class为active的节点内容,我们将正则表达式中的active去掉,代码改写如下:
result = re.search('<li.*?singer="(.*?)">(.*?)</a>', html, re.S)
if result:
print(result.group(1), result.group(2))
由于search()方法会返回第一个符合条件的匹配目标,那在这里结果就变了。
运行结果如下:
任贤齐 沧海一声笑
因为我们把active标签去掉之后,从字符串开头开始搜索,符合条件的节点就变成了第二个<li>
节点,后面的就不再进行匹配,所以运行结果自然就变成了第二个<li>
节点中的内容。
注意在上面两次匹配中,search()方法的第三个参数我们都加了re.S
,使得.*?
可以匹配换行,所以含有换行的<li>
节点被匹配到了,如果我们将其去掉,结果会是什么?
result = re.search('<li.*?singer="(.*?)">(.*?)</a>', html)
if result:
print(result.group(1), result.group(2))
运行结果:
beyond 光辉岁月
可以看到结果就变成了第四个<li>
节点的内容,这是因为第二个和第三个<li>
标签都包含了换行符,去掉re.S
之后,.*?
已经不能匹配换行符,所以正则表达式不会匹配到第二个和第三个<li>
节点,而第四个<li>
节点中不包含换行符,所以成功匹配。
由于绝大部分的HTML文本都包含了换行符,所以通过上面的例子,我们尽量都需要加上re.S
修饰符,以免出现匹配不到的问题。
findall()
在前面我们说了search()方法的用法,它可以返回匹配正则表达式的第一个内容,但是如果我们想要获取匹配正则表达式的所有内容的话怎么办?这时就需要借助于findall()方法了。
findall()方法会搜索整个字符串然后返回匹配正则表达式的所有内容。
还是上面的HTML文本,如果我们想获取所有<a>
节点的超链接、歌手和歌名,就可以将search()方法换成findall()方法。如果有返回结果的话就是list类型,所以我们需要遍历一下list来获依次获取每组内容。
results = re.findall('<li.*?href=".*?mp3(.*?)".*?singer="(.*?)">(.*?)</a>', html, re.S)
print(type(results))
for result in results:
print(result)
print(result[0], result[1], result[2])
运行结果:
<class 'list'>
('', '任贤齐', '沧海一声笑')
任贤齐 沧海一声笑
('', '齐秦', '往事随风')
齐秦 往事随风
('', 'beyond', '光辉岁月')
beyond 光辉岁月
('', '陈慧琳', '记事本')
陈慧琳 记事本
('', '邓丽君', '<i class="fa fa-user"></i>但愿人长久')
邓丽君 <i class="fa fa-user"></i>但愿人长久
可以看到,返回的list的每个元素都是tuple类型,我们用对应的索引依次取出即可。
所以,如果只是获取第一个内容,可以用search()方法,当需要提取多个内容时,就可以用findall()方法。
sub()
正则表达式除了提取信息,我们有时候还需要借助于它来修改文本,比如我们想要把一串文本中的所有数字都去掉,如果我们只用字符串的replace()方法那就太繁琐了,在这里我们就可以借助于sub()方法。
我们用一个实例来感受一下:
import re
content = '54aK54yr5oiR54ix5L2g'
content = re.sub('\d+', '', content)
print(content)
运行结果:
aKyroiRixLg
在这里我们只需要在第一个参数传入\d+来匹配所有的数字,然后第二个参数是替换成的字符串,要去掉的话就可以赋值为空,第三个参数就是原字符串。
得到的结果就是替换修改之后的内容。
那么在上面的HTML文本中,如果我们想正则获取所有<li>
节点的歌名,如果直接用正则表达式来提取可能比较繁琐,比如可以写成这样子:
results = re.findall('<li.*?>\s*?(<a.*?>)?(\w+)(</a>)?\s*?</li>', html, re.S)
for result in results:
print(result[1])
运行结果:
一路上有你
沧海一声笑
往事随风
光辉岁月
记事本
但愿人长久
但如果我们借助于sub()函数就比较简单了,我们可以先用sub()函数将<a>
节点去掉,只留下文本,然后再利用findall()提取就好了。
html = re.sub('<a.*?>|</a>', '', html)
print(html)
results = re.findall('<li.*?>(.*?)</li>', html, re.S)
for result in results:
print(result.strip())
运行结果:
<div id="songs-list">
<h2 class="title">经典老歌</h2>
<p class="introduction">
经典老歌列表
</p>
<ul id="list" class="list-group">
<li data-view="2">一路上有你</li>
<li data-view="7">
沧海一声笑
</li>
<li data-view="4" class="active">
往事随风
</li>
<li data-view="6">光辉岁月</li>
<li data-view="5">记事本</li>
<li data-view="5">
但愿人长久
</li>
</ul>
</div>
一路上有你
沧海一声笑
往事随风
光辉岁月
记事本
但愿人长久
可以到<a>
标签在经过sub()函数处理后都没有了,然后再findall()直接提取即可。所以在适当的时候我们可以借助于sub()方法做一些相应处理可以事半功倍。
compile()
前面我们所讲的方法都是用来处理字符串的方法,最后再介绍一个compile()方法,这个方法可以讲正则字符串编译成正则表达式对象,以便于在后面的匹配中复用。
import re
content1 = '2016-12-15 12:00'
content2 = '2016-12-17 12:55'
content3 = '2016-12-22 13:21'
pattern = re.compile('\d{2}:\d{2}')
result1 = re.sub(pattern, '', content1)
result2 = re.sub(pattern, '', content2)
result3 = re.sub(pattern, '', content3)
print(result1, result2, result3)
例如这里有三个日期,我们想分别将三个日期中的时间去掉,所以在这里我们可以借助于sub()方法,sub()方法的第一个参数是正则表达式,但是这里我们没有必要重复写三个同样的正则表达式,所以可以借助于compile()函数将正则表达式编译成一个正则表达式对象,以便复用。
运行结果:
2016-12-15 2016-12-17 2016-12-22
另外compile()还可以传入修饰符,例如re.S
等修饰符,这样在search()、findall()等方法中就不需要额外传了。所以compile()方法可以说是给正则表达式做了一层封装,以便于我们更好地复用。
到此为止,正则表达式的基本用法就介绍完毕了,后面我们会有实战来讲解正则表达式的使用。