卷积神经网络配色 卷积神经网络 图像

文章目录

• 1.1卷积神经网络基础

• 卷积神经网络
• 全连接层
• 卷积层
• 池化层

• 1.2卷积神经网络基础补充（反向传播）

• 误差的计算
• 误差的反向传播
• 权重的更新

• 优化器

1.1卷积神经网络基础

卷积神经网络

卷积神经网络（CNN, Convolutional Neural Network）的发展：

全连接层

卷积层

---

权值共享的特性：

---

看下面这张图可以看出一次卷积的原理。

有两个卷积核，就对应了输出特征矩阵的两个 channel ，而与输入特征矩阵的 channel 无关。

每个卷积核的channel 和 输入特征矩阵的 channel 相对应进行计算，输出特征矩阵的尺寸为 (w - f + 2p) / s + 1。

在这个例子中就是 (3 - 2 + 0) / 1 + 1 = 2。

1. 卷积核的channel与输入特征层的channel相同
2. 输出的特征矩阵channel与卷积核个数相同

激活函数：引入非线性因素，使其具备解决非线性问题的能力。
当加入偏置和激活函数计算时，直接对原始结果进行计算就好了。

N = (W - F + 2P) / S + 1

这里的P根据实际情况来。

池化层

最大池化：

平均池化：

1.2卷积神经网络基础补充（反向传播）

误差的计算

softmax：

所有输出节点概率和为1。

交叉熵损失 Cross Entropy Loss

误差的反向传播

对w11(2)

https://www.bilibili.com/video/BV1M7411M7D2

权重的更新

优化器

目的——为了使网络更快地收敛

2. SGD



4. SGD + Monmentum



6. Adagrad



7. 学习率下降的太快可能还没收敛就停止训练。
9. RMSProp



11. Adam