一 序

  本文属于贪心NLP训练营学习笔记。

二 句法分析Parsing

理解句子的两种方法:

  1. 句法分析 (主谓宾…)
  2. 大量阅读后, 凭感觉 <- 语言模型

概念

例如. Microsoft is located in Redmond

nlp语言片段提取 nlp语言技巧_自然语言处理

上面的语法树中，叶子节点叫terminal node，非叶子节点叫internal node（non-terminal node）

句法树中提取特征Parsing for Feature Extraction

提取与 树/图 的相关特征 (重要性可能不高, 适用于短句子，长句子可以根据之前的上下文方法来找)

1、最短路径
2、用路径上的词性来作为特征

下面来如何把句子转换为句法树。

语法

语法是语言学家给定的规则，下图左侧就是。这种随机生成右侧的语法树可能不通顺。

nlp语言片段提取 nlp语言技巧_自然语言处理_02

机器翻译的例子old MT

传统的机器翻译需要句法分析、语言学家支持。现在的改进端到端（seq2seq），无需人工干预的翻译：

nlp语言片段提取 nlp语言技巧_CKY_03

From CFG to PCFG

左侧CFG是纯语法，右侧PCFG多了概率，如果一个词性后面能接1种词性，那么它对应的概率是1，如果一个词性后面能接多种词性，这些词性的概率和为1，具体每种词性对应多少概率可以从训练数据中统计得到。

nlp语言片段提取 nlp语言技巧_fish_04

评估语法树Evaluate Syntax tree

一个句子可以拆分成多种不同的语法树, 而每个树的每个结点都有相应的概率(通过统计获得, 每个语法出现的概率), 将所有概率相乘, 选择概率最高的语法树

前提有大量的训练数据，依赖人工去标注。

nlp语言片段提取 nlp语言技巧_CKY_05

Fine the best syntax tree

  1. 枚举所有可能的语法树 (时间复杂度高，可能是指数级)
  2. CKY算法，是一种DP算法

三 CKY算法

利用动态规划思维：每次把问题拆分成两个子问题来考虑，也叫做Binarization二值化（为啥只允许两类而不是3类？为了降低计算复杂度）

Transforming to CNF(Chomsky Normal Form)

CNF比上面的二值化要求更加严格：

1、词性对应的值不能大于2；
2、词性对应的值不能出现e；
3、词性对应的值不能出现只对应一个词性的值。

nlp语言片段提取 nlp语言技巧_nlp语言片段提取_06

下面看如何转换为CNF过程

1.remove e

相当于NP可以指向null，并且代入原来公式后引出一些新规则。

nlp语言片段提取 nlp语言技巧_自然语言处理_07

2.Remove unaries

去掉只指向一个值（unaries）的规则，下面截图的例子S->VP

nlp语言片段提取 nlp语言技巧_自然语言处理_08

现在来看另外一个单值规则S→V，注意这里涉及到终端规则。可以看做V相当于S，相当于把V指向的单词，S也指向。

nlp语言片段提取 nlp语言技巧_CKY_09

接下来看其他几个单值规则：截图左侧指向1个的，逐个删除，替代，可以看到这个时候右边的规则已经没有单值的规则了，只剩下两个三值规则（VP,S）需要处理。

nlp语言片段提取 nlp语言技巧_自然语言处理_10

三值规则处理，把其中两个值合并，形成新的值，截图的VP→V NP PP，把后面两个NP PP合并起来，并起名：@VP_V，并加入规则：@VP_V→NP PP

nlp语言片段提取 nlp语言技巧_fish_11

到此CNF转换已经结束了，它不是CKY的必需条件。总结下CKY：

必须要Binarization二值化，其他是非必需的。

CKY 算法

假设有4个 单词，fish,people,fish,thanks,自下（叶子节点）往上（根）填充一棵语法树。

先填叶子节点：（从单词开始，寻找对应的指向的词性，以及词性对应的上级）

nlp语言片段提取 nlp语言技巧_nlp语言片段提取_12

接下来填上一层，以这个位置是fish，people两个词的父结点为例，fish，people各有5种路径。要找两个子节点中同时出现的规则，然后计算概率填入。

例如：NP→NP NP=(NP→NP NP)× (NP→N这个是fish格子)×(NP→N这个是people格子)=0.1× 0.14× 0.35=0.0049

还要看在规则中有没有单独出现的，例如：

VP→V NP=(V NP)× (V→这个是fish格子)×(NP→N这个是people格子)= 0.5×0.6×0.35=0.105

由于规则库中还有S→VP，S→VP=0.1× 0.105=0.0105

由于有两个S→ 我们要比较下，保留概率比较大的那个。

S→NP VP=0.9× 0.14× 0.01 这个要<S→VP ,舍弃掉。

nlp语言片段提取 nlp语言技巧_nlp语言片段提取_13

这里相当于要考虑三个单词例如：
fish people fish可以有两种情况：（fish people）fish ，fish （people fish）

对应上面截图，就是3 的来源有2和8、1和6。

类似的7的来源：5和9，6和10

nlp语言片段提取 nlp语言技巧_句法分析_14

接下来填最右上角的空格，这里相当于要考虑四个单词：
fish people fish tank
有三种情况
fish +(people fish tank)：1+7
(fish people) +(fish tank)：2+9
(fish people fish)+ tank：3+10

得到最后结果：

nlp语言片段提取 nlp语言技巧_自然语言处理_15

回溯。

从根节点的开始标志S出发，按照之前保留的路径找出概率最大句法树。

英语好的直接看PPT：http://classes.ischool.syr.edu/ist664/NLPFall2015/ParsingChart.2015.ppt.pdf

http://aitp-conference.org/2016/slides/Probabilistic%20Parsing%20of%20Mathematics.pdf

nlp语言片段提取 nlp语言技巧_nlp语言片段提取_16

英语不好的，看看大佬的这篇：


老师说，不要求写出cky算法，要理解其解题思路。