论文解读:FASPell: A Fast, Adaptable, Simple, Powerful Chinese Spell Checker Based On DAE-Decoder Paradigm简要信息:序号属性值1模型名称FASPell2所属领域自然语言处理3研究内容中文拼写纠错4核心内容图表征,语言模型5GitHub源码​​https://github.com/iqiyi/FASPel
拼写纠正系列 NLP 中文拼写检测实现思路 NLP 中文拼写检测纠正算法整理 NLP 英文拼写算法,如果提升 100W 倍的性能? NLP 中文拼写检测纠正 Paper java 实现中英文拼写检查和错误纠正?可我只会写 CRUD 啊! 一个提升英文单词拼写检测性能 1000 倍的算法? 单词拼写纠正-03-leetcode edit-distance 72.力扣编辑距离 NLP 开源项目 nlp
原创 9月前
148阅读
提纲1 简介2 Confusionset-guided Pointer Network3 FASPell4 Soft-Masked BERT5 MLM-phonetics6 总结参考文献1 简介    在之前的篇章我们对中文文本纠错做了一个系统的介绍,曾经盛行的纠错系统都是基于混淆集+n-gram语言模型的,其中混淆集构建成本巨
最近因为相关项目需要考虑中文文本检错,然后就发现了爱奇艺发布的号称SOTA的FASPell已经开源代码,所以开始着手实现。检错思想两步:一,掩码语言模型(MLM)产生候选字符;二,CSD过滤候选字符。资源与数据文件  开源代码中不包含任何处理好的数据,全部需要自己处理。训练和测试使用的SIGHAN数据没有问题。但是所需的char_meta.txt文件构建较为困难,其由字音和字形两部分特征构成。字音
转载 2023-12-08 10:38:34
151阅读
faspell是2019年由爱奇艺发表的错别字检测纠错sota算法。因为工作原因,涉及到一些错别字的检测纠错技术,因此对相关内容做了点研究。从技术的原理来说,错别字显然是一个经验型的技术,输入的一句话怎么排?每个字出现的概率概率高低?都是依靠训练样本给出足够的场景数据得出的。从这方面来讲,LSTM+CRF的经典组合必然是首先考虑的。但是又考虑到bert的MLM任务是如此的符合错别字检测纠错场景,因
转载 2024-09-01 10:51:37
129阅读