自然语言处理谣言检测自然语言处理知乎

转载

mob64ca141139a2 2024-04-23 09:10:53

文章标签 自然语言处理谣言检测自然语言处理核心期刊中文分词极大似然估计后验概率 文章分类 文心一言 AIGC

在知乎上搜索相关问题，有人推荐《数学之美》，之前粗略看过一次，这次想重新看一下并且做个读书笔记。下面是关于自然语言理解方面的一些读书笔记和自己的思考。

一．自然语言处理历史：

自然语言处理最初发展的20多年里，相关科学家都极力通过电脑模拟人脑，试图用这种方式来处理人类语言，但是这种方式被证明是行不通的，成功几乎为零。NLP发展的第二阶段是70年代之后，科学家们终于找到了基于数学模型和统计的方法。

第一阶段的时候，学术界对人工智能和自然语言理解的普遍认识是：要让机器完成翻译或者语音识别等等，必须先让计算机理解自然语言，就像人类一样去理解这些语言，这显然是做不到的。即便在可预见的将来，这也必定是一件不太现实的事情。

第二阶段，比如机器在翻译的过程中，并没有理解这句话的意思，它只是做了一种统计上的归纳而已。机器依旧是机器。

基于规则的分析方法，需要将现有的句法系统按照句子成分划分成一个一个单位，而这会随着句子的复杂多样化句子的划分复杂度几何级上升，并且没有上下文的帮助句子词义的多样性同样限制了规则分析方法的发展。比如The pen is in the box.和The box is in the pen.按照规则来分析该句子根本不可能获得语义，必须依靠常识来得到该句子的真正含义，但是基于统计的方法可以依靠上下文对该语义做一个合理的预估。基于规则的方法完全从该单独的句子着手，根本不管上下文。但是这样也还是没有让基于统计的方法快速发展起来，主要原因在于基于统计的方法需要大量的训练数据，这在当时来说是达不到的。

二.统计语言模型：

自然语言逐渐演变成为一种上下文相关的信息表达和传递的方式，计算机就用统计语言模型去表征自然语言这种上下文相关的特性。

一个句子S=(w1,w2,w3…wn)由n个词组成，我们要弄清该句子是否是一个合乎实际的句子，可以计算该句子在现实情况下的概率，最最简单的想法是把人类所有句子统计一遍，然后再计算这个句子的概率，但是这显然是行不通的。一个可行的方法是把这个句子分成n个词(对于中文来说，这就是中文分词研究的东西)，然后再计算这n个词按照该顺序组成这个句子的概率大小。可以表示如下：

这个概率计算的复杂度会随着n的增大指数上升。因此引入齐次马尔科夫性假设，即假设一个词的出现只与其前面一个词的出现有关，而与更前面的词无关，这样概率计算可以简化为如下：

这样的模型称为二元模型，用更一般的表示方法为：

但是二元模型显然太过于简单草率，所以有了高阶模型的出现，n阶模型表示一个词的出现与其前面的n-1个词有关。表示为：

一般由于计算复杂度的问题，大多数情况下用3阶模型，谷歌的用到了4阶模型。

接下来的问题是，由于用来训练模型的语料库(corpus)太少而出现的零概率情况如何处理？

这里有一个古德-图灵公式，基本思路是当词语对出现次数大于某一阈值时，利用条件概率计算出来的频率根据大数定理就当做概率(因为只有大于某一阈值时我们才有充分理由相信大数定理的条件被满足)，当出现频数小于该阈值但又大于零的频率，则相应的下调该频率值，因为这个时候大数定律成立的条件是没有被满足的，并且出现次数越少，下调频率越多，最后把这个下调的频率当做所求的概率，最后对于零出现的情况，则将这些下调的总和平均分配给零出现的次数，以保证概率总和为1。

三.中文分词问题：

汉语和英语有分割每个词的空格不一样，汉语中所有的词都没有明显分界，所以必须解决中文分词问题，最简单的方法是查字典，基本思想是首先有一个中文词语的字典库，将一个句子从左扫描到末尾，遇到字典里有的词之后就保存，规则是尽量找最长的词，比如中国航天城，中是一个单字词，先保存，继续往下扫描，遇到国字，中和国可以组成一个更长的词，因此最后保存中国这个词，后面的航天城类似。查字典的处理方法简单，但不够准确。因为很多情况下并不是最长词的分词规则就是最适合的。

利用统计语言模型来处理中文分词的第一人是郭进博士，基本思想是：假设一个句子有很多种分词方法，则分别计算每种分词方法对应的该句子概率。即：

也就是说，利用每种分词方法都可以计算该句子的概率。然后取最大概率对应的分词方法。其本质上是一种极大似然估计。

四.关于郭进博士分词方法的一些思考：(求指正)

在这里我添加一些关于极大似然估计和极大后验概率，以及频率学派和贝叶斯学派这方面自己的思考，因为每次好不容易弄清楚了二者联系和区别之后，过段时间又混淆了。

在这里，极大似然估计和极大后验概率都是如下的应用场景：在给定观测数据X的情况下，我们要求解产生该观测数据X背后的参数，并且我们求得的参数并不是非此即彼的，也就是有一个概率分布来表征每一个可能的参数。当然，一般情况下我们都取概率最大的那个参数，即.

极大似然估计和极大后验概率的关键区别就在第三个等号这里，这也是历史上著名的频率学派和贝叶斯学派争论的地方，焦点就在于

是否是一个常数，假如是常量的话，那么第三个等号自然就成立了，这样对于参数的估计就变成了极大似然估计(Maximum Likelihood)，假如

不为常量，那么第三个等号就不能成立，对于参数的估计只能停留在倒数第二个式子这里，这便是极大后验概率(Maximum A Posteriori)。

在频率学派的世界里，参数是常量只是未知。而在贝叶斯学派的世界里，参数则不是常量。双方曾经对这两种观点进行了激烈的争论，这是后话不表。

回到我们这里的问题，给定一个句子，我们要求解其分词组合，实际上给定的这个句子就是我们的观测值，而分词组合便是待求解的参数，而上文说到的清华大学博士郭进所用到的方法便是：先求得每个分词组合下对应的句子概率，把最大概率对应的分词组合作为最终答案。很明显存在如下这个公式：

所以我把这个归为本质上的极大似然估计。

中文分词并不是只能应用在中文领域，而是根据特定场合同样可以应用在字母语言的领域，比如英语词组的分割，手写句子的识别(因为手写英文句子的空格不那么明显)等等。