名称相似度匹配算法（文本相似度匹配）

在处理数据时，有时需要找出数据中存在错误的数据或者对数据进行去重。对数据去重，如果存储在数据库中，我想一个sql就可以搞定，可是要找出数据中错误的数据，就比较困难，一般只能人工判断。举例：比如有一批账单中，存储的都是企业的名称，但想统计一下具体真正的有多少企业，我们可能会说，如果是数据库中，直接distinct一下不就出来了？对，我们可以使用distinct把重复的企业去掉，但是看看留下的企业名称是什么样子，“XXX科技股份有限公司”,'XXX科技股有限公司”，只要名称是人工手工输入的就不免会出错，前面的两个名称用sql统计肯定会认为是两家公司，可用人眼一看就知道，这两个是一家企业。那么，如果出现这种情况，怎样让计算机帮助我们找出这些出错的企业名称呢？

在这里向您推荐一个Levenshtein算法，通过此算法，可以算出两个文本之间的一个阈值，我们简单称它为相似度。现在假设数据库中存在一个企业名称表，里面的名称都是手工输入的，我们可以通过此算法，计算出企业名称两两比较的相似度。一般我们把这个阈值设置到0.8以上时，几乎能够找出所有的人工手工输入的错误。在实际应用中，我们可以将这个阈值存入数据库中，在阈值中筛选一个合适的阈值，就能把相似的名称都找出。

下面是一个代码示例：

 

//要比较的两个字符串   
        String str1 = "今天星期四";   
        String str2 = "今天是星期四";   
        levenshtein(str1,str2);   
        
        str1 = "今天星期四";   
        str2 = "今天星期(四)";   
        levenshtein(str1,str2); 
        
        str1 = "今天星期四";   
        str2 = "今天星期四223";   
        levenshtein(str1,str2); 
        
        str1 = "今天星期四";   
        str2 = "今天新期四";   
        levenshtein(str1,str2);
 
将输出：
 
字符串"今天星期四"与"今天是星期四"的比较；差异步骤：1；相似度：0.8333333
字符串"今天星期四"与"今天星期(四)"的比较；差异步骤：2；相似度：0.71428573
字符串"今天星期四"与"今天星期四223"的比较；差异步骤：3；相似度：0.625
字符串"今天星期四"与"今天新期四"的比较；差异步骤：1；相似度：0.8
 
以下为测试代码（C#）
public static float levenshtein(String str1,String str2) { 
        //计算两个字符串的长度。   
        int len1 = str1.Length;   
        int len2 = str2.Length;   
        //建立上面说的数组，比字符长度大一个空间   
        int[,] dif = new int[len1 + 1,len2 + 1];   
        //赋初值，步骤B。   
        for (int a = 0; a <= len1; a++) {   
            dif[a,0] = a;   
        }   
        for (int a = 0; a <= len2; a++) {   
            dif[0,a] = a;   
        }   
        //计算两个字符是否一样，计算左上的值   
        int temp;   
        for (int i = 1; i <= len1; i++) {   
            for (int j = 1; j <= len2; j++) {   
                if (str1[i - 1] == str2[j - 1]) {   
                    temp = 0;   
                } else {   
                    temp = 1;   
                }   
                //取三个值中最小的   
                dif[i,j] = min(dif[i - 1,j - 1] + temp, dif[i,j - 1] + 1,   
                        dif[i - 1,j] + 1);   
            }   
        }   

        //计算相似度   
        float similarity =1 - (float) dif[len1,len2] / Math.Max(str1.Length, str2.Length);    
             return similarity;
    }          //得到最小值   
        private static int min(params int[] arr) {   
            int min = int.MaxValue; 
            foreach (int i in arr) {   
                if (min > i) {   
                    min = i;   
                }   
            }   
            return min;   
        }