目前解决图像分类问题,比较流行的方法是lstm和卷积神经网络的关系 卷积神经网络和svm比较_池化上。这种方法主要有两部分组成:一个是lstm和卷积神经网络的关系 卷积神经网络和svm比较_权重_02,它是原始图像数据到类别分值的映射。另一个是lstm和卷积神经网络的关系 卷积神经网络和svm比较_池化_03,它是用来量化预测分类标签的得分与真实标签之间一致性的。该方法可转化为一个最优化问题,在最优化过程中,将通过更新评分函数的参数来最小化(梯度下降)损失函数值

sigmod:

lstm和卷积神经网络的关系 卷积神经网络和svm比较_lstm和卷积神经网络的关系_04


ReLU激活函数:

lstm和卷积神经网络的关系 卷积神经网络和svm比较_池化_05

1.线性分类器

lstm和卷积神经网络的关系 卷积神经网络和svm比较_权重_06

定义:每个分类类别的分值是权重和图像的矩阵乘,得到分数数值。
损失函数:多类支持向量机损失 Multiclass Support Vector Machine Loss
SVM的损失函数定义:

lstm和卷积神经网络的关系 卷积神经网络和svm比较_损失函数_07

用预测错误的得分减去预测正确的得分加上一个容错

lstm和卷积神经网络的关系 卷积神经网络和svm比较_损失函数_08


N为图片样本的个数,损失函数的大小不和样本图片的数量有关系。

正则化

解决相同的评分结果的权重参数w可能是无穷多个的,加入正则化惩罚(将W中所有元素平方后求和)

lstm和卷积神经网络的关系 卷积神经网络和svm比较_损失函数_09

损失函数的最终版:

lstm和卷积神经网络的关系 卷积神经网络和svm比较_权重_10

2.Softmax分类器

lstm和卷积神经网络的关系 卷积神经网络和svm比较_lstm和卷积神经网络的关系_11


该元素的softmax值,就是该元素的指数与所有元素指数和的比值。

定义:最后的输出是每个分类被取到的概率,归一化保证和为1。
损失函数:整个数据集的loss的计算公式与Multiclass SVM相同:

lstm和卷积神经网络的关系 卷积神经网络和svm比较_池化_12

对单个样本lstm和卷积神经网络的关系 卷积神经网络和svm比较_池化_13的loss的形式都是

lstm和卷积神经网络的关系 卷积神经网络和svm比较_lstm和卷积神经网络的关系_14


lstm和卷积神经网络的关系 卷积神经网络和svm比较_权重_15

3.卷积神经网络(CNN)

定义:是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。 它包括卷积层(convolutional layer)和池化层(pooling layer)。组成:输入层、卷积层、激活函数、池化层、全连接层。
卷积:在原始的输入上进行特征的提取。在原始输入上用多个filter这个固定尺寸的助手一个小区域一个小区域进行特征的提取,最终得到多个特征图。(得到的特征图是来自一个RGB三个通道的特征图之和)

lstm和卷积神经网络的关系 卷积神经网络和svm比较_损失函数_16


lstm和卷积神经网络的关系 卷积神经网络和svm比较_损失函数_17

所谓的权值共享就是说,给一张输入图片,用一个filter去扫这张图,filter里面的数就叫权重,这张图每个位置是被同样的filter扫的,所以权重是一样的,也就是共享。

lstm和卷积神经网络的关系 卷积神经网络和svm比较_lstm和卷积神经网络的关系_18

池化:对特征图进行特征压缩,池化也叫做下采样。选择原来某个区域的max或mean代替那个区域,整体就浓缩了。