上篇详细介绍了一下正则表达式的常用知识点。这一篇我们开启正则表达式里的search()方法和一些其他的方法。

search()

我们在前一篇提到过match()方法是从字符串的开头开始匹配,一旦开头不匹配,那么整个匹配就失败了。

我们看下面的例子:

import re

content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
result = re.match('Hello.*?(\d+).*?Demo', content)
print(result)

在这里我们有一个字符串,它是以Extra开头的,但是正则表达式我们是以Hello开头的,整个正则表达式是字符串的一部分,但是这样匹配是失败的,也就是说只要第一个字符不匹配整个匹配就不能成功,运行结果如下:

None

所以match()方法在我们在使用的时候需要考虑到开头的内容,所以在做匹配的时候并不那么方便,它适合来检测某个字符串是否符合某个正则表达式的规则。

所以在这里就有另外一个方法search(),它在匹配时会扫描整个字符串,然后返回第一个成功匹配的结果,也就是说,正则表达式可以是字符串的一部分,在匹配时,search()方法会依次扫描字符串,直到找到第一个符合规则的字符串,然后返回匹配内容,如果搜索完了还没有找到,那就返回None。

我们把上面的代码中的match()方法修改成search(),再看下运行结果:

<_sre.SRE_Match object; span=(13, 53), match='Hello 1234567 World_This is a Regex Demo'>

这样就得到了匹配结果。

所以说,为了匹配方便,我们可以尽量使用search()方法。

下面我们再用几个实例来感受一下search()方法的用法。

首先这里有一段待匹配的HTML文本,我们接下来写几个正则表达式实例来实现相应信息的提取。

这里写代码片html = '''<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
        <li data-view="2">一路上有你</li>
        <li data-view="7">
            <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
        </li>
        <li data-view="4" class="active">
            <a href="/3.mp3" singer="齐秦">往事随风</a>
        </li>
        <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
        <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
        <li data-view="5">
            <a href="/6.mp3" singer="邓丽君"><i class="fa fa-user"></i>但愿人长久</a>
        </li>
    </ul>
</div>'''

观察到<ul>节点里面有许多<li>节点,其中<li>节点有的包含<a>节点,有的不包含<a>节点,<a>节点还有一些相应的属性,超链接和歌手名。

首先我们尝试提取classactive<li>节点内部的超链接包含的歌手名和歌名。

所以我们需要提取第三个<li>节点下的<a>节点的singer属性和文本。

所以正则表达式可以以<li>开头,然后接下来寻找一个标志符active,中间的部分可以用.*?来匹配,然后接下来我们要提取singer这个属性值,所以还需要写入singer="(.*?)",我们需要提取的部分用小括号括起来,以便于用group()方法提取出来,它的两侧边界是双引号,然后接下来还需要匹配<a>节点的文本,那么它的左边界是>,右边界是</a>,所以我们指定一下左右边界,然后目标内容依然用(.*?)来匹配,所以最后的正则表达式就变成了<li.*?active.*?singer="(.*?)">(.*?)</a>',然后我们再调用search()方法,它便会搜索整个HTML文本,找到符合正则表达式的第一个内容返回。

另外由于代码有换行,所以这里第三个参数需要传入re.S

所以整个匹配代码如下:

result = re.search('<li.*?active.*?singer="(.*?)">(.*?)</a>', html, re.S)
if result:
    print(result.group(1), result.group(2))

由于我们需要获取的歌手和歌名都已经用了小括号包围,所以可以用group()方法获取,序号依次对应group()的参数。

运行结果:

齐秦 往事随风

可以看到这个正是我们想提取的class为active的<li>节点内部的超链接包含的歌手名和歌名。

那么正则表达式不加active会怎样呢?也就是匹配不带class为active的节点内容,我们将正则表达式中的active去掉,代码改写如下:

result = re.search('<li.*?singer="(.*?)">(.*?)</a>', html, re.S)
if result:
    print(result.group(1), result.group(2))

由于search()方法会返回第一个符合条件的匹配目标,那在这里结果就变了。

运行结果如下:

任贤齐 沧海一声笑

因为我们把active标签去掉之后,从字符串开头开始搜索,符合条件的节点就变成了第二个<li>节点,后面的就不再进行匹配,所以运行结果自然就变成了第二个<li>节点中的内容。

注意在上面两次匹配中,search()方法的第三个参数我们都加了re.S,使得.*?可以匹配换行,所以含有换行的<li>节点被匹配到了,如果我们将其去掉,结果会是什么?

result = re.search('<li.*?singer="(.*?)">(.*?)</a>', html)
if result:
    print(result.group(1), result.group(2))

运行结果:

beyond 光辉岁月

可以看到结果就变成了第四个<li>节点的内容,这是因为第二个和第三个<li>标签都包含了换行符,去掉re.S之后,.*?已经不能匹配换行符,所以正则表达式不会匹配到第二个和第三个<li>节点,而第四个<li>节点中不包含换行符,所以成功匹配。

由于绝大部分的HTML文本都包含了换行符,所以通过上面的例子,我们尽量都需要加上re.S修饰符,以免出现匹配不到的问题。

findall()

在前面我们说了search()方法的用法,它可以返回匹配正则表达式的第一个内容,但是如果我们想要获取匹配正则表达式的所有内容的话怎么办?这时就需要借助于findall()方法了。

findall()方法会搜索整个字符串然后返回匹配正则表达式的所有内容。

还是上面的HTML文本,如果我们想获取所有<a>节点的超链接、歌手和歌名,就可以将search()方法换成findall()方法。如果有返回结果的话就是list类型,所以我们需要遍历一下list来获依次获取每组内容。

results = re.findall('<li.*?href=".*?mp3(.*?)".*?singer="(.*?)">(.*?)</a>', html, re.S)
print(type(results))
for result in results:
    print(result)
    print(result[0], result[1], result[2])

运行结果:

<class 'list'>
('', '任贤齐', '沧海一声笑')
 任贤齐 沧海一声笑
('', '齐秦', '往事随风')
 齐秦 往事随风
('', 'beyond', '光辉岁月')
 beyond 光辉岁月
('', '陈慧琳', '记事本')
 陈慧琳 记事本
('', '邓丽君', '<i class="fa fa-user"></i>但愿人长久')
 邓丽君 <i class="fa fa-user"></i>但愿人长久

可以看到,返回的list的每个元素都是tuple类型,我们用对应的索引依次取出即可。

所以,如果只是获取第一个内容,可以用search()方法,当需要提取多个内容时,就可以用findall()方法。

sub()

正则表达式除了提取信息,我们有时候还需要借助于它来修改文本,比如我们想要把一串文本中的所有数字都去掉,如果我们只用字符串的replace()方法那就太繁琐了,在这里我们就可以借助于sub()方法。

我们用一个实例来感受一下:

import re

content = '54aK54yr5oiR54ix5L2g'
content = re.sub('\d+', '', content)
print(content)

运行结果:

aKyroiRixLg

在这里我们只需要在第一个参数传入\d+来匹配所有的数字,然后第二个参数是替换成的字符串,要去掉的话就可以赋值为空,第三个参数就是原字符串。

得到的结果就是替换修改之后的内容。

那么在上面的HTML文本中,如果我们想正则获取所有<li>节点的歌名,如果直接用正则表达式来提取可能比较繁琐,比如可以写成这样子:

results = re.findall('<li.*?>\s*?(<a.*?>)?(\w+)(</a>)?\s*?</li>', html, re.S)
for result in results:
    print(result[1])

运行结果:

一路上有你
沧海一声笑
往事随风
光辉岁月
记事本
但愿人长久

但如果我们借助于sub()函数就比较简单了,我们可以先用sub()函数将<a>节点去掉,只留下文本,然后再利用findall()提取就好了。

html = re.sub('<a.*?>|</a>', '', html)
print(html)
results = re.findall('<li.*?>(.*?)</li>', html, re.S)
for result in results:
    print(result.strip())

运行结果:

<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
        <li data-view="2">一路上有你</li>
        <li data-view="7">
            沧海一声笑
        </li>
        <li data-view="4" class="active">
            往事随风
        </li>
        <li data-view="6">光辉岁月</li>
        <li data-view="5">记事本</li>
        <li data-view="5">
            但愿人长久
        </li>
    </ul>
</div>
一路上有你
沧海一声笑
往事随风
光辉岁月
记事本
但愿人长久

可以到<a>标签在经过sub()函数处理后都没有了,然后再findall()直接提取即可。所以在适当的时候我们可以借助于sub()方法做一些相应处理可以事半功倍。

compile()

前面我们所讲的方法都是用来处理字符串的方法,最后再介绍一个compile()方法,这个方法可以讲正则字符串编译成正则表达式对象,以便于在后面的匹配中复用。

import re

content1 = '2016-12-15 12:00'
content2 = '2016-12-17 12:55'
content3 = '2016-12-22 13:21'
pattern = re.compile('\d{2}:\d{2}')
result1 = re.sub(pattern, '', content1)
result2 = re.sub(pattern, '', content2)
result3 = re.sub(pattern, '', content3)
print(result1, result2, result3)

例如这里有三个日期,我们想分别将三个日期中的时间去掉,所以在这里我们可以借助于sub()方法,sub()方法的第一个参数是正则表达式,但是这里我们没有必要重复写三个同样的正则表达式,所以可以借助于compile()函数将正则表达式编译成一个正则表达式对象,以便复用。

运行结果:

2016-12-15  2016-12-17  2016-12-22

另外compile()还可以传入修饰符,例如re.S等修饰符,这样在search()、findall()等方法中就不需要额外传了。所以compile()方法可以说是给正则表达式做了一层封装,以便于我们更好地复用。

到此为止,正则表达式的基本用法就介绍完毕了,后面我们会有实战来讲解正则表达式的使用。