一种相似(中文)字符串匹配算法
- 前言
- 0x00 jieba分词
- 0x01 分词匹配rank打分
- 0x02 按rank排序得到top10
- 0x03 实测效果
- 0x04 后续思考
前言
php开发时遇到一个需求,做一个任务匹配算法,使大家在浏览任务时,能查看相似任务进行参考。初步考虑可以给任务加上tag,类似于微博的话题标签,通过tag来找到相似任务,但给过去的任务添加tag又是一个巨大的工作量。于是考虑使用分词匹配rank打分的方法,分词每匹配到一次则任务的rank+1,最后给所有任务按rank排序,找到匹配度最高的top10。
0x00 jieba分词
jieba分词是一个第三方分词库,支持python、java、go等多种语言,这里使用php版本,github项目地址:https://github.com/fukuball/jieba-php
这里通过composer引入项目:composer require fukuball/jieba-php:dev-master
而后项目里通过autoload引用:require_once "/path/to/your/vendor/autoload.php";
具体用法详见github
使用时首先引入库
require_once '../../vendor/autoload.php';
use Fukuball\Jieba\Jieba;
use Fukuball\Jieba\Finalseg;
将目标任务分词,输入任务名string,输出分好的词array
// 任务名分词
public function divideName($taskName){
ini_set('memory_limit', '1024M');
Jieba::init();
Finalseg::init();
return Jieba::cut($taskName);
}
0x01 分词匹配rank打分
遍历每一个分词,与其它任务匹配,匹配成功则该任务rank+1
$nameDivide = $this->divideName($thistask->name);
// 按分词搜索
foreach ($nameDivide as $seg_name){
// 过滤无意义的单字
if(mb_strlen($seg_name) > 1){
foreach ($AllTask as $oneTask){
if(substr_count($oneTask->name,$seg_name)) $oneTask->rank += 1;
}
}
}
// 不匹配本任务
$AllTask[$taskID]->rank = -1;
0x02 按rank排序得到top10
// 按rank排序,rank相同按date排序
public function sortAsRank($task1,$task2){
if($task1->rank == $task2->rank) return $task1->openedDate < $task2->openedDate;
else return $task1->rank < $task2->rank;
}
usort调用
usort($AllTask,array($this,'sortAsRank'));
return array_slice($AllTask,0,10);
0x03 实测效果
匹配效果:
匹配分词:人事、工作、考勤、统计
其中:“:”和“月”作为单字被过滤
匹配度相同则按日期排序
实测响应时间2s左右,更长的任务名匹配时间增长幅度较小,可以接受
0x04 后续思考
1、可以更改匹配的权重,比如匹配到更重要、更有价值、更有意义的分词加更多的rank。
2、算法优化,如何进一步优化时间复杂度?当前耗时主要在两层循环匹配, 算法仅适用于较为简单的任务名匹配,更复杂的任务描述匹配相应时间超过5s。