字符串匹配KMP算法

Algorithms

字符串匹配是计算机的基本任务之一。

朴素的模式匹配算法

算法思想

举例来说，有一个字符串”BBC ABCDAB ABCDABCDABDE”，我想知道，里面是否包含另一个字符串”ABCDABD”？

BBC ABCDAB ABCDABCDABDE
x
ABCDABD

首先，字符串”BBC ABCDAB ABCDABCDABDE”的第一个字符与搜索词”ABCDABD”的第一个字符，进行比较。因为B与A不匹配，所以搜索词后移一位。

BBC ABCDAB ABCDABCDABDE
 x
 ABCDABD

因为B与A不匹配，搜索词再往后移。

BBC ABCDAB ABCDABCDABDE
    |
    ABCDABD

就这样，直到字符串有一个字符，与搜索词的第一个字符相同为止。

BBC ABCDAB ABCDABCDABDE
    ||
    ABCDABD

接着比较字符串和搜索词的下一个字符，还是相同。

BBC ABCDAB ABCDABCDABDE
    ||||||x
    ABCDABD

直到字符串有一个字符，与搜索词对应的字符不相同为止。

BBC ABCDAB ABCDABCDABDE
     x
     ABCDABD

这时，最自然的反应是，将搜索词整个后移一位，再从头逐个比较。这样做虽然可行，但是效率很差，因为你要把”搜索位置”移到已经比较过的位置，重比一遍。

ruby代码实现

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
def index(s, t)
  i, j = 0, 0
  while i < s.size && j < t.size
    if s[i] == t[j]      # 两字母相等则继续
      i, j = i + 1, j + 1
    else       # 指针后退重新开始匹配
      i = i - j + 1    # i退回到上次匹配首位的下一位
      j = 0
    end
  end

  if j == t.size
    return i - j
  else
    return -1
  end
end

KMP算法

算法思想

我们基于上面的阐述，继续来看这个字符串匹配问题。

BBC ABCDAB ABCDABCDABDE
    ||||||x
    ABCDABD

一个基本事实是，当空格与D不匹配时，你其实知道前面六个字符是”ABCDAB”。KMP算法的想法是，设法利用这个已知信息，不要把”搜索位置”移回已经比较过的位置，继续把它向后移，这样就提高了效率。

搜索词 A B C D A B D
部分匹配值 0 0 0 0 1 2 0

怎么做到这一点呢？可以针对搜索词，算出一张《部分匹配表》（Partial Match Table）。这张表是如何产生的，后面再介绍，这里只要会用就可以了

BBC ABCDAB ABCDABCDABDE
    ||||||x
    ABCDABD

已知空格与D不匹配时，前面六个字符”ABCDAB”是匹配的。查表可知，最后一个匹配字符B对应的”部分匹配值”为2，因此按照下面的公式算出向后移动的位数：

移动位数 = 已匹配的字符数 - 对应的部分匹配值

因为 6 - 2 等于4，所以将搜索词向后移动4位。

BBC ABCDAB ABCDABCDABDE
        ||x
        ABCDABD

因为空格与Ｃ不匹配，搜索词还要继续往后移。这时，已匹配的字符数为2（”AB”），对应的”部分匹配值”为0。所以，移动位数 = 2 - 0，结果为 2，于是将搜索词向后移2位。

BBC ABCDAB ABCDABCDABDE
          x
          ABCDABD

因为空格与A不匹配，继续后移一位。

BBC ABCDAB ABCDABCDABDE
           ||||||x
           ABCDABD

逐位比较，直到发现C与D不匹配。于是，移动位数 = 6 - 2，继续将搜索词向后移动4位。

BBC ABCDAB ABCDABCDABDE
               |||||||
               ABCDABD

逐位比较，直到搜索词的最后一位，发现完全匹配，于是搜索完成。如果还要继续搜索（即找出全部匹配），移动位数 = 7 - 0，再将搜索词向后移动7位，这里就不再重复了。

部分匹配表

下面介绍《部分匹配表》是如何产生的。
首先，要了解两个概念：”前缀”和”后缀”。 “前缀”指除了最后一个字符以外，一个字符串的全部头部组合；”后缀”指除了第一个字符以外，一个字符串的全部尾部组合。

字符串："bread"
前缀：b, br, bre, brea
后缀：read, ead, ad, d
搜索词 A B C D A B D
部分匹配值 0 0 0 0 1 2 0
“部分匹配值”就是”前缀”和”后缀”的最长的共有元素的长度。以”ABCDABD”为例：
  • “A”的前缀和后缀都为空集，共有元素的长度为0；
  • “AB”的前缀为[A]，后缀为[B]，共有元素的长度为0；
  • “ABC”的前缀为[A, AB]，后缀为[BC, C]，共有元素的长度0；
  • “ABCD”的前缀为[A, AB, ABC]，后缀为[BCD, CD, D]，共有元素的长度为0；
  • “ABCDA”的前缀为[A, AB, ABC, ABCD]，后缀为[BCDA, CDA, DA, A]，共有元素为”A”，长度为1；
  • “ABCDAB”的前缀为[A, AB, ABC, ABCD, ABCDA]，后缀为[BCDAB, CDAB, DAB, AB, B]，共有元素为”AB”，长度为2；
  • “ABCDABD”的前缀为[A, AB, ABC, ABCD, ABCDA, ABCDAB]，后缀为[BCDABD, CDABD, DABD, ABD, BD, D]，共有元素的长度为0。
BBC ABCDAB ABCDABCDABDE
           ||||||x
           ABCDABD

“部分匹配”的实质是，有时候，字符串头部和尾部会有重复。比如，”ABCDAB”之中有两个”AB”，那么它的”部分匹配值”就是2（”AB”的长度）。搜索词移动的时候，第一个”AB”向后移动4位（字符串长度-部分匹配值），就可以来到第二个”AB”的位置。

Python实现代码如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
def pmt(s):
    """
    PartialMatchTable
    """
    prefix = [s[:i+1] for i in range(len(s) - 1)]
    postfix = [s[i+1:] for i in range(len(s) - 1)]
    intersection = list(set(prefix) & set(postfix))
    if intersection:
        return len(intersection[0])
    return 0

def kmp(s, target):
    i = 0
    while i < len(s) - len(target) + 1:
        match = True
        for j in range(len(target)):
            if s[i + j] != target[j]:
                match = False
                break
        if match:
            return True
        # 移动位数 = 已匹配的字符数 - 对应的部分匹配值
        if j:
            i += j - pmt(target[:j])
        else:
            i += 1
    return False

注：参考阮一峰老师《字符串匹配KMP算法》