概括 

大体上简单的卷积神经网络是下面这个网络流程:

CNN结构卷积操作 n k cnn的卷积_机器学习

笼统的说:

Embeding Layer 后,再通过一些filters进行过滤,对结果进行maxPooling,再经过线性层映射到类别上,最后经过Softmax,得出类别分数。

细致的说:

       就得慢慢分析了,as follows:

第一层:将Embeding进行filter

EmbedSize

       边解释专有名词边讲述过程:

Channel:    每个单词的向量是上图的对应的行。这里的一个句子形成一个二维矩阵,这里二维矩阵叫做 一个channel。

Filter:过滤器,有时候也叫做kernel。图片处理的filter大小可以根据情况选择不同的正方形的filter;而自然语言处理中,每行表示一个特征,不能分离,所以这里的filter的长为EmbedSize,而宽呢?一般设置为奇数3,4,5(这些都是经验值,当然可以设置成别的值,但是不推荐。宽为偶数的特别少见,一般不用)。这里的Filter在和计算的时候,是和Embeding矩阵对应位相乘,最后相加,得出一个结果,公式为y = W*X + b(有没有b,自己决定)最后随着滑动,得到一个新的矩阵。

Strides:    步长。也就是滑动的距离。无论向右滑动还是向下滑动都是这个大小。(因为这里的Filter长为EmbedSize,所以,这里只能向下滑动)

(n-f+1)/s+1  *  1

用途有两个:1.解决输出大小不一致的问题。2.解决信息丢失的问题(主要是角上的信息)。

(n-f+2p+1)/s+1  *  1(p为pooling大小), 一般默认s为1,所以为了使输出的矩阵高为n,则    

           n-f+2p+1 = n

       即:

p = (f-1)/2 (f为一般为奇数,所以p = (f-1)//2)

       这里在pytorch里的网络层代码:

CNN结构卷积操作 n k cnn的卷积_深度学习_02

       最后的矩阵记得要经过一个激活函数。

       数据流动:

CNN结构卷积操作 n k cnn的卷积_nlp_03

第二层 maxPooling最大池化

       有时候这个也说不算是一个层,因为不含参数。

maxPooling,最终变成m*1的矩阵。(m为相同Filter的个数*Filter种类)

数据流动代码:

CNN结构卷积操作 n k cnn的卷积_机器学习_04

第三层 Fully Connected Layer全连接层

       将上面的m*1维的数据进过一个线性层,映射到k*1上。(k是种类个数)

Softmax,得到最终分类。

       这里在pytorch里的网络层代码:

CNN结构卷积操作 n k cnn的卷积_自然语言处理_05

       数据流动代码:

CNN结构卷积操作 n k cnn的卷积_深度学习_06

       注:代码里没有Softmax,是因为之后用到的Loss函数里默认有。

 

      ok,这里就讲完了。最近在想CNN好想不太适合做立场检测,觉得LSTM应该更为合适,接下来系统理论的学习下LSTM网络。