作者 | 小立军
1. 简介
word2vec 是 Google 公司于 2013 年开源推出的一个用于获取 word vector 的工具包,它简单、高效,因此引起了广泛关注。word2vec 是自然语言处理领域最著名的模型之一,在 word2vec 提出之后,基于深度学习的自然语言处理任务得到了高速的发展。
2. 预备知识
2.1 logistic回归
逻辑回归(Logistic Regression)是一种用于解决二分类(0 or 1)问题的机器学习方法,用于估计某种事物的可能性。比如某用户购买某商品的可能性,某病人患有某种疾病的可能性,以及某广告被用户点击的可能性等。
逻辑回归(Logistic Regression)与线性回归(Linear Regression)都是一种广义线性模型(generalized linear model)。逻辑回归假设因变量 y 服从伯努利分布,而线性回归假设因变量 y 服从高斯分布,因此与线性回归有很多相同之处,去除Sigmoid映射函数的话,逻辑回归算法就是一个线性回归。可以说,逻辑回归是以线性回归为理论支持的,但是逻辑回归通过Sigmoid函数引入了非线性因素,因此可以轻松处理0/1分类问题。
首先介绍一下Sigmoid函数:
其函数曲线如下:
从上图可以看到sigmoid函数是一个s形的曲线,它的取值在[0, 1]之间。
逻辑回归的假设函数形式如下:
因此
其中
是我们的输入,
为我们要求取的参数向量
逻辑回归中的代价函数为交叉熵损失函数:
使用梯度下降算法更新参数
,以最小化代价函数
:
在逻辑回归中,假设函数
用于计算样本属于某类别的可能性;决策函数
用于计算给定样本的类别;决策边界
是一个方程,用于标识出分类函数(模型)的分类边界。使用sklearn实现 Logistic Regression 代码如下:
运行后得到 Logistic Regression 模型预测的混淆矩阵、热图和 ROC 曲线如下:
2.2 Huffman编码
霍夫曼树是二叉树的一种特殊形式,又称为最优二叉树,其主要作用在于数据压缩和编码长度的优化。
2.2.1 路径和路径长度
在一棵树中,从一个结点往下可以达到的孩子或孙子结点之间的通路,称为路径。通路中分支的数目称为路径长度。若规定根结点的层数为1,则从根结点到第L层结点的路径长度为L-1。
图中所示二叉树结点A到结点D的路径长度为2,结点A到达结点C的路径长度为1。
2.2.2 带权路径长度
若将树中结点赋给一个有着某种含义的数值,则这个数值称为该结点的权。结点的带权路径长度为:从根结点到该结点之间的路径长度与该结点的权的乘积。
树的带权路径长度规定为所有叶子结点的带权路径长度之和,记为WPL。上图所示二叉树的WPL: WPL = 6 * 2 + 3 * 2 + 8 * 2 = 34。
2.2.3 霍夫曼树
给定n个权值作为n个叶子结点,构造一棵二叉树,若带权路径长度达到最小,称这样的二叉树为最优二叉树,也称为霍夫曼树(Huffman Tree)。
上图所示的两棵二叉树,叶子结点为A、B、C、D,对应权值分别为7、5、2、4。
第一棵树的WPL = 7 * 2 + 5 * 2 + 2 * 2 + 4 * 2 = 36
第二棵树的WPL = 7 * 1 + 5 * 2 + 2 * 3 + 4 * 3 = 35
由ABCD构成叶子结点的二叉树形态有许多种,但是WPL最小的树只有上图右边所示的形态。则第二棵树为一棵霍夫曼树。
构造霍夫曼树主要运用于编码,称为霍夫曼编码。上图中霍夫曼树的构造过程如下:
(1) 选择结点权值最小的两个结点构成一棵二叉树
(2) 则现在可以看作由T1,A,B构造霍夫曼树,继续执行步骤1。选则B和T1构成一棵二叉树
(3) 现在只有T2和A两个结点,继续执行步骤1。选择A和T2构成一棵二叉树
经过上述步骤可以构造完一棵霍夫曼树。通过观察可以发现,霍夫曼树中权值越大的结点距离根结点越近。图中四个叶子结点的编码结果为:
结点 | 编码 |
A | 0 |
B | 10 |
C | 110 |
D | 111 |
采用霍夫曼树可以适当降低编码长度,尤其是在编码长度较长,且权值分布不均匀时,采用霍夫曼编码可以大大缩短编码长度。
2.2.4 代码实现
给定n个权值 {w1,w2,...,wn} 作为二叉树的n个叶子结点,可通过以下算法来构造一棵霍夫曼树:
(1) 将 {w1,w2,...,wn} 看成是有n棵树的森林,每棵树只有一个结点。
(2) 在森林中选出两个根节点权值最小的树合并,作为一棵新树的左右子树,且新
树的根节点权值为其左右子树根节点权值之和。
(3) 从森林中删除选取的两棵树,并将新树加入森林。
(4) 重复(2)(3)步,直到森林中只剩一棵树为止,该树即为所求的Huffman树。
在word2vec中,将词典中的所有单词作为叶子结点,词频为叶子结点的权值,构造一棵Huffman树,词频越大的词离根节点越近。对每个单词进行Huffman编码,左、右子树中权值较大的孩子结点编码为1,较小的孩子结点编码为0。
代码运行结果:
3. 基于 Hierarchical Softmax 的模型
本节开始介绍word2vec中用到的两个重要模型:CBOW模型 (Continuous Bag-Of-Words Model) 和 Skip-gram模型 (Continuous Skip-gram Model),如下图所示:
由图可见,两个模型都包含三层:输入层、投影层和输出层。前者是在已知当前词w(t) 的上下文 w(t-2), w(t-1), w(t+1), w(t+2) 的前提下预测当前词 w(t);而后者恰恰相反,是在已知当前词 w(t) 的前提下,预测其上下文 w(t-2), w(t-1), w(t+1), w(t+2)。
对于 CBOW 和 Skip-gram 两个模型,word2vec 给出了两套框架,它们分别基于 Hierarchical Softmax 和 Negative Sampling 来进行设计。本节介绍基于 Hierarchical Softmax 的 CBOW 和 Skip-gram 模型。
基于神经网络的语言模型的目标函数通常取为如下对数似然函数:
其中的关键是条件概率函数 p(w|Context(w)) 的构造。对于 word2vec 中基于 Hierarchical Softmax 的 CBOW 模型,要优化的目标函数形如上式;而对于基于 Hierarchical Softmax 的 Skip-gram 模型,要优化的目标函数则形如:
讨论过程中我们将重点放在 p(w|Context(w)) 和 p(Context(w)|w) 的构造上,接下来将从数学推导的角度对这两个模型进行详细介绍。
3.1 CBOW 模型
下图给出了 CBOW 模型的网络结构,它包含3层:输入层、投影层和输出层。下面以单个样本 (Context(w), w) 为例(假设 Context(w) 由 w 前后各 c 个词构成),对这三个层做简要说明。
1. 输入层:包含 Context(w) 中 2c 个词的词向量:
其中 m 表示词向量的长度。
2. 投影层:将输入层 2c 个词的词向量求平均,即
3. 输出层:输出层对应一棵二叉树,它是以语料中出现过的词为叶子结点,以各词在语料中出现的次数为权值构造出来的 Huffman 树。在这棵 Huffman 树中,叶子结点共 N=|V| 个,分别对应词典 V 中的词,非叶子结点 N-1 个(图中标记为黄色的那些结点)。
Hierarchical Softmax 是 word2vec 中用于提高性能的一项关键技术。在具体介绍该技术前,先引入若干相关符号,考虑 Huffman 树中的某个叶子结点,假设它对应词典 V 中的词 w,记
- :从根结点出发到达 w 对应叶子结点的路径。
- :路径中包含的结点个数。
- 路径中的所有结点:
其中第一个表示根结点,最后一个表示词 w 对应的叶子结点。
- 词 w 的 Huffman 编码:
表示路径中第 j 个结点对应的编码(根结点不对应编码)。
- 路径的权重参数:
表示路径中第 j 个非叶子结点对应的权重向量。该权重向量为算法的辅助向
量。
对于词典 V 中的任意词 w,Huffman 树中必存在一条从根结点到词 w 对应叶子结点的路径(且这条路径是唯一的)。路径上存在 n - 1 个分支,将每个分支看成一次二分类,每一次二分类就产生一个概率,将这些概率连乘起来,就是所需的 p(w|Context(w))。条件概率 p(w|Context(w)) 的一般公式可写为:
word2vec 中约定编码为0的结点为正类,编码为1的结点为负类。根据 2.1 中介绍的逻辑回归,一个结点被分为正类的概率为
一个结点被分为负类的概率为
因此
将上式代入对数似然函数,可得
为了梯度求解方便,将上式中双重求和符号下花括号内的内容记为
至此,已经推导出基于 Hierarchical Softmax 的 CBOW 模型的目标函数。word2vec 中采用随机梯度上升法最大化对数似然函数。随机梯度上升法的做法是:每取一个样本 (Context(w), w),就对目标函数中的所有相关参数进行一次更新。目标函数对参数向量的梯度计算如下
参数向量的更新公式为
下面以样本 (Context(w), w) 为例,给出 CBOW 模型中采用随机梯度上升法更新各参数向量的伪代码
3.2 Skip-gram 模型
本小节介绍 word2vec 中的另一个重要模型 — Skip-gram 模型,推导过程与 CBOW 大同小异,将沿用上一小节引入的记号。
上图给出了 Skip-gram 模型的网络结构,与 CBOW 模型的网络结构一样,也包括三层:输入层、投影层和输出层。下面以样本 (w, Context(w)) 为例,对这三个层做简要说明:
1. 输入层:只含当前样本中心词 w 的词向量 v(w);
2. 投影层:这是个恒等投影,把 v(w) 投影到 v(w)。因此这个投影层是多余的,之 所以保留主要是方便和 CBOW 模型的网络结构做对比;
3. 输出层:和 CBOW 模型一样,输出层也是一棵霍夫曼树。
对于 Skip-gram 模型,已知的是当前词 w,需要对其上下文 Context(w) 中的词进行预测,关键是条件概率函数 p(Context(w)|w) 的构造,Skip-gram 模型中将其定义为
上式中的 p(u|w) 可以按照上一小节介绍的 Hierarchical Softmax 思想,类似地写为
其中
对数似然目标函数为
同样,为了梯度推导方便,将三重求和符号下花括号里的内容记为
接下来推导目标函数对参数向量的梯度
利用对称性可得
使用随机梯度上升法更新各参数向量
下面以样本 (w, Context(w)) 为例,给出 Skip-gram 模型中使用随机梯度上升法更新各参数向量的伪代码
word2vec 代码中,并不是等 Context(w) 中的所有词都处理完后才更新 v(w),而是每处理完 Context(w) 中的一个词 u,就及时更新一次 v(w)。
4. 基于 Negative Sampling 的模型
本节将介绍基于 Negative Sampling 的 CBOW 和 Skip-gram 模型。使用 Negative Sampling(简称为NEG)主要是为了提高训练速度并改善所得词向量的质量。与 Hierarchical Softmax 相比,NEG 不再使用复杂的 Huffman 树,而是利用相对简单的随机负采样,能大幅度提高性能,因此可作为 Hierarchical Softmax 的一种替代。
4.1 负采样算法
顾名思义,在基于 Negative Sampling 的 CBOW 和 Skip-gram 模型中,负采样是个很重要的环节,对于一个给定的词 w,如何生成它对应的负样本集合 NEG(w) 呢?
词典 V 中的词在语料 C 中出现的次数有高有低,对于那些高频词,被选为负样本的概率就应该比较大;反之,对于那些低频词,被选为负样本的概率就应该比较小。这本质上是一个带权采样问题,下面用一段通俗的描述理解带权采样的机理。
在 word2vec 中使用 InitUnigramTable 函数生成负采样需要用到的查找表
查找表 table 的最大长度为 1e8,其中词典 V 中每个词 w 对应的长度为
负采样时,随机生成 0~table_size 内的整数,该整数落到词典中哪个词的长度区间内,就取出改词进行判断是否作为负样本。
4.2 CBOW 模型
在 CBOW 模型中,已知词 w 的上下文 Context(w),需要预测 w,对于给定的 (Context(w), w),词 w 是一个正样本,词典中其它词为负样本,但词典很大,负样本太多,需要进行随机负采样,得到一个关于词 w 的负样本子集 NEG(w)。定义
对于一个给定的样本 (Context(w), w),我们希望最大化
其中
或者写成整体表达式
其中 x_w 仍然表示 Context(w) 中各词的词向量求平均,将上式代入 g(w) 中可得
对数似然函数
为了梯度推导方便起见,记
目标函数对参数向量的梯度计算如下
利用对称性可得
使用随机梯度上升法更新各参数向量
下面以样本 (Context(w), w) 为例,给出基于 Negative Sampling 的 CBOW 模型中使用随机梯度上升法更新各参数向量的伪代码
4.3 Skip-gram 模型
在 word2vec 中,基于 Negative Sampling 的 Skip-gram 模型的目标函数定义为
其中
最终的对数似然目标函数就是
为了梯度推导方便起见,将三重求和符号下花括号内的内容记为
目标函数对参数向量的梯度计算如下
利用对称性可得
使用随机梯度上升法更新各参数向量
下面以样本 (w, Context(w)) 为例,给出基于 Negative Sampling 的 Skip-gram 模型中使用随机梯度上升法更新各参数向量的伪代码
5. 结尾
本文主要介绍了 nlp 领域著名模型 word2vec 的数学原理,分别介绍了基于 Hierarchical Softmax 和 Negative Sampling 两种架构的 CBOW 模型和 Skip-gram 模型。内容多有参考 CSD