公司内部培训我想讲一讲grep命令的使用,正好网上有一篇文章说GNU grep命令内部字符串匹配算法用的是Boyer-Moore算法,此算法比KMP算法快3到5倍.好,那我们看看KMP算法是如何匹配字符串的。

KMP算法

KMP算法是一种改进的字符串匹配算法,由D.E.Knuth,J.H.Morris和V.R.Pratt同时发现,因此人们称它为克努特——莫里斯——普拉特操作(简称KMP算法)。KMP算法的关键是利用匹配失败后的信息,尽量减少模式串与主串的匹配次数以达到快速匹配的目的。时间复杂度O(m+n)。

KMP算法的实现例子

为了明白到底KMP算法是如何实现一个字符串的匹配,推荐大家看一下《字符串匹配的KMP算法

此文章非常清楚明白的讲解了KMP算法的实现过程。

我将此文章的讲解顺序调整一下,再讲一次。

举例来说:
有一个字符串Text—-“BBC_ABCDAB_ABCDABCDABDE”,我想知道,里面是否包含另一个字符串Pattern—“ABCDABD”。

如图:

BBC_ABCDAB_ABCDABCDABDE
ABCDABD

KMP算法也是要从Text的左侧第一位字符开始与要搜索的字符串Pattern左侧的第一位字符开始比较的。
字符串”BBC_ABCDAB_ABCDABCDABDE”的第一个字符与搜索词”ABCDABD”的第一个字符,进行比较。因为B与A不匹配,所以搜索词后移一位。

BBC_ABCDAB_ABCDABCDABDE
 ABCDABD

因为B与A不匹配,搜索词再往后移。

BBC_ABCDAB_ABCDABCDABDE
  ABCDABD

因为C与A不匹配,搜索词再往后移。

BBC_ABCDAB_ABCDABCDABDE
   ABCDABD

因为_与A不匹配,搜索词再往后移。

BBC_ABCDAB_ABCDABCDABDE
    ABCDABD

然后,我们发现第一个Pattern的A与Text的A匹配,第二个Pattern的B与Text的B匹配,第三个Pattern的C与Text的C匹配,第四个Pattern的D与Text的D匹配,第五个Pattern的A与Text的A匹配,第六个Pattern的B与Text的B匹配。但是,第七个Pattern的D与Text的_不匹配。

此时,我们最自然的反应是,将搜索词Pattern整个后移一位,再从头逐个比较。这样做虽然可行,但是效率很差,因为你要把”搜索位置”移到已经比较过的位置,重比一遍。

一个基本事实是,当_与D不匹配时,你其实知道前面六个字符是”ABCDAB”。

KMP算法的想法是,设法利用这个已知信息(Pattern),不要把”搜索位置”移回已经比较过的位置,继续把它向后移,并且尽量向后移动更多的位数,减少字符串匹配的次数,提高字符串匹配效率,但是又要避免移动位置过大漏过一些匹配的字符串。

怎么做到这一点呢?KMP算法是针对搜索词,算出一张《部分匹配表》(Partial Match Table)。

Pattern

A

B

C

D

A

B

D

部分匹配值

0

0

0

0

1

2

0

此部分匹配表后面我们来解释是如何产生的,我们继续讲解KMP算法是如何移动字符串来匹配的。

KMP算法按照下面的公式算出向后移动的位数:

移动位数 = 已匹配的字符数 - 对应的部分匹配值

所以,已知_与D不匹配时,前面六个字符”ABCDAB”是匹配的。查表可知,最后一个匹配字符B对应的”部分匹配值”为2。
那么,此时Pattern字符串向后移动的位数=6-2=4位。

BBC_ABCDAB_ABCDABCDABDE
        ABCDABD

此时,已知_与C不匹配时,前面2个字符”AB”是匹配的。查表可知,最后一个匹配字符B对应的”部分匹配值”为0。
那么,此时Pattern字符串向后移动的位数=2-0=2位。

BBC_ABCDAB_ABCDABCDABDE
          ABCDABD

因为_与A不匹配,搜索词再往后移。

BBC_ABCDAB_ABCDABCDABDE
           ABCDABD

此时,已知C与D不匹配时,前面六个字符”ABCDAB”是匹配的。查表可知,最后一个匹配字符B对应的”部分匹配值”为2。
那么,此时Pattern字符串向后移动的位数=6-2=4位。

BBC_ABCDAB_ABCDABCDABDE
               ABCDABD

此时,我们逐位比较,直到搜索词的最后一位,发现完全匹配,于是搜索完成。

如果还要继续搜索(即找出全部匹配),移动位数 = 7 - 0,再将搜索词向后移动7位,这里就不再重复了。

部分匹配表

此部分,我们讲解一下部分匹配表是如何得到的。

首先,要了解两个概念:”前缀”和”后缀”。
“前缀”指除了最后一个字符以外,一个字符串的全部头部组合;
“后缀”指除了第一个字符以外,一个字符串的全部尾部组合。

比如,字符串”bread”,
前缀为:b,br,bre,brea
后缀为:d,ad,ead,read

"部分匹配值"就是"前缀"和"后缀"的最长的共有元素的长度

以”ABCDABD”为例,

  • “A”的前缀和后缀都为空集,没有共有元素,共有元素的长度为0;
  • “AB”的前缀为[A],后缀为[B],没有共有元素,共有元素的长度为0;
  • “ABC”的前缀为[A, AB],后缀为[BC, C],没有共有元素,共有元素的长度0;
  • “ABCD”的前缀为[A, AB, ABC],后缀为[BCD, CD, D],没有共有元素,共有元素的长度为0;
  • “ABCDA”的前缀为[A, AB, ABC, ABCD],后缀为[BCDA, CDA, DA, A],共有元素为”A”,长度为1;
  • “ABCDAB”的前缀为[A, AB, ABC, ABCD, ABCDA],后缀为[BCDAB, CDAB, DAB, AB,B],共有元素为”AB”,长度为2;
  • “ABCDABD”的前缀为[A, AB, ABC, ABCD, ABCDA, ABCDAB],后缀为[BCDABD, CDABD,DABD, ABD, BD, D],没有共有元素,共有元素的长度为0。

“部分匹配”的实质是:
有时候,字符串头部和尾部会有重复。比如,”ABCDAB”之中有两个”AB”,那么它的”部分匹配值”就是2(”AB”的长度)。搜索词移动的时候,第一个”AB”向后移动4位(字符串长度-部分匹配值),就可以来到第二个”AB”的位置。

参考资料:

1.字符串匹配的KMP算法
http://www.ruanyifeng.com/blog/2013/05/Knuth%E2%80%93Morris%E2%80%93Pratt_algorithm.html