论文解读:FASPell: A Fast, Adaptable, Simple, Powerful Chinese Spell Checker Based On DAE-Decoder Paradigm简要信息:序号属性值1模型名称FASPell2所属领域自然语言处理3研究内容中文拼写纠错4核心内容图表征,语言模型5GitHub源码https://github.com/iqiyi/FASPel
原创
2022-12-22 03:21:32
99阅读
拼写纠正系列
NLP 中文拼写检测实现思路
NLP 中文拼写检测纠正算法整理
NLP 英文拼写算法,如果提升 100W 倍的性能?
NLP 中文拼写检测纠正 Paper
java 实现中英文拼写检查和错误纠正?可我只会写 CRUD 啊!
一个提升英文单词拼写检测性能 1000 倍的算法?
单词拼写纠正-03-leetcode edit-distance 72.力扣编辑距离
NLP 开源项目
nlp
提纲1 简介2 Confusionset-guided Pointer Network3 FASPell4 Soft-Masked BERT5 MLM-phonetics6 总结参考文献1 简介 在之前的篇章我们对中文文本纠错做了一个系统的介绍,曾经盛行的纠错系统都是基于混淆集+n-gram语言模型的,其中混淆集构建成本巨
转载
2024-01-05 15:11:47
73阅读
最近因为相关项目需要考虑中文文本检错,然后就发现了爱奇艺发布的号称SOTA的FASPell已经开源代码,所以开始着手实现。检错思想两步:一,掩码语言模型(MLM)产生候选字符;二,CSD过滤候选字符。资源与数据文件 开源代码中不包含任何处理好的数据,全部需要自己处理。训练和测试使用的SIGHAN数据没有问题。但是所需的char_meta.txt文件构建较为困难,其由字音和字形两部分特征构成。字音
转载
2023-12-08 10:38:34
151阅读
faspell是2019年由爱奇艺发表的错别字检测纠错sota算法。因为工作原因,涉及到一些错别字的检测纠错技术,因此对相关内容做了点研究。从技术的原理来说,错别字显然是一个经验型的技术,输入的一句话怎么排?每个字出现的概率概率高低?都是依靠训练样本给出足够的场景数据得出的。从这方面来讲,LSTM+CRF的经典组合必然是首先考虑的。但是又考虑到bert的MLM任务是如此的符合错别字检测纠错场景,因
转载
2024-09-01 10:51:37
129阅读