模型结构
CBOW模型，中文译为“连续词袋模型”，完成的任务是给定中心词
的一定邻域半径（比如半径为2，通常成为windows，窗口，这里窗口的大小为5）内的单词
，预测输出单词为该中心词
的概率，由于没有考虑词之间的顺序，所以称为词袋模型。论文中给出的CBOW模型的结构如下图：
在上面的结构示意图中，符号w(t-1)，w(t-2)，w(t+1)，w(t+2) 表示输入的单词，实际是一个one-hot的vector，通过构建词典，建立单词索引可以很容易实现，向量的维度和词典中单词数目相同，只有一个维度的值为1，该维度对应该单词在词典索引中的位置，其余维度的值为0。其中的PROJECTION层是通过查表得到的，首先初始化一个words vector矩阵W，W是一个二维的矩阵，行数等于构建的词典中的单词的数目，依赖具体语料库大小等因素，列数是一个超参数，人为设定，一般为100；论文中给出的结构图太简单，我自己画了一个，如下：
输入是中心词
的上下文单词，都是one-hot编码的，我假设了widows size 是5，所以有4个one-hot编码向量的输入
。设输入层矩阵为
，大小为
，其中
是词典的大小 ，
是词向量的维度，
向量则是
的一行，lookup的过程即是如下的操作：
将one-hot编码的向量
和
相乘，就是取出了输入矩阵
中
对应的一行，该行的行号是单词
在词典中的索引号。经过输入层操作得到的向量是一个稠密的向量（dense），假设为
。输出层的矩阵设为
，输出矩阵的大小
，则输出向量为
的大小为
，每一个维度的值可以理解为在当前上下文
环境下，输出的中心单词是字典每一个单词的logit概率，做softmax后，就是每一个单词的概率了。以上描述的也是CBOW模型一次前向传播的过程。
公式详解每一步操作
1、查表（lookup） 从单词到向量
对
进行查表即是完成下列操作：
这是一个(n x 1) 的矩阵和一个（n x d）的矩阵之间的矩阵乘法，得到的是一个（1 x d）的向量
，就是一个向量。这个
向量就是单词
对应的词向量。同理有：
2、求和平均（sum and average）
上一步通过lookup，得出了中心词
上下文单词
对应的词向量
，因为我们要根据这些词向量算出单词
出现的概率，所以需要对这4个词向量做求和，然后取平均值，作为PROJECTION层的输出，即
这里做一下说明，论文中给出的求和后取平均值，可以看成是四个上下文
词向量对生成中心词
的贡献是相同的，没有考虑单词的顺序问题（CBOW名称的来源）。
3、输出（output）
这一步需要计算的是由
生成
的概率。即计算：
由于经过lookup层后，上下文单词
被综合表示成
，所以我们需要计算由
生成中心单词
的概率是多大。所以
由于给定上下文时，不止是只能生成中心词，还能生成整个词典中的任何一个单词，只是生成的概率没有中心词概率大，我们用一个通用的公式表示如下：
表示给定上下文单词
时，生成中心单词
的概率。这个值是通过对整个字典中的单词做softmax后得到的，具体的计算公式如下：
其中，
表示词典的大小，
表示上下文单词的向量。这里不好理解的是
。在上一步的查表中，可以得知向量
就是上下文单词的词向量，因为
就是通过一个one-hot编码的向量和词向量矩阵进行矩阵乘法得到的。
就是输出层矩阵
中的一行。在李沐的“动手学深度学习”教程中，将
和
看成是一个单词的两套词向量，即
是同一个单词
的两个词向量，对应到CBOW的结果图中，就是一个是输出矩阵中的行，一个输入矩阵中的行。我个人认为这个解释不是太有力，我更倾向于
是一个打分权重，这个打分权重可以理解为在当前上下文输入下，输出单词为
的得分是多少，类似于logistic regression中的权重系数。
模型的损失函数及优化
在讲解CBOW模型的损失函数和参数优化前，可以先看看训练数据是什么样子的。假设训练数据是一段文本，长度为T，则在CBOW模型下，训练样本的格式如下：
训练数据是从长度为T的文本中抽取的，可以抽取很多个上式表达的训练数据。有训练数据，同时我们又建立了概率模型，那么我们就可以定义一个似然函数，使得训练集中样本的似然概率最大。
生成这一段文本的似然概率如下：
其中，
不存在，会用特殊的占位符替换。上式就是CBOW的目标函数，为了学习到合适的词向量，需要最大化上述似然函数的值，这等价于最小化如下损失函数的值：
将具体的概率公式替换。可得
这个cost fucntion是关于
的函数，对上式求关于
的倒数，使用随即梯度下降方法，多次迭代，既可以找到最优值。
