CNN

CNN 的价值：

  1. 能够将⼤数据量的图⽚有效的降维成⼩数据量(并不影响结果)
  2. 能够保留图⽚的特征，类似⼈类的视觉原理

CNN 的基本原理：

  1. 卷积层 – 主要作⽤是保留图⽚的特征
  2. 池化层 – 主要作⽤是把数据降维，可以有效的避免过拟合
  3. 全连接层 – 根据不同任务输出我们想要的结果

CNN 的实际应⽤：

  1. 图⽚分类、检索
  2. ⽬标定位检测
  3. ⽬标分割
  4. ⼈脸识别

RNN

RNN 跟传统神经⽹络最⼤的区别在于每次都会将前⼀次的输出结果，带到下⼀次的隐藏层中。

⻓短期记忆⽹络 – LSTM
在标准的 RNN 中，只有单个 tanh 层，只保留重要的信息。

GRU 是 LSTM 的⼀个变体。保留了 LSTM 划重点，遗忘不重要信息的特点，在long-term 传播的时候也不会被丢失。在训练数据集⽐较⼤的情况下可以节省很多时间。

RNN的独特价值在于：它能有效的处理序列数据。
基于 RNN 出现了 LSTM 和 GRU 等变种算法。这些变种算法主要有⼏个特点：

  1. ⻓期信息可以有效的保留
  2. 挑选重要信息保留，不重要的信息会选择“遗忘”
    RNN ⼏个典型的应⽤如下：
  3. ⽂本⽣成
  4. 语⾳识别
  5. 机器翻译
  6. ⽣成图像描述
  7. 视频标记

GANs

初衷：⾃动化
⽣成对抗⽹络（GANs）由2个重要的部分构成：

  1. ⽣成器(Generator)：通过机器⽣成数据（⼤部分情况下是图像），⽬的是“骗过”判别器
  2. 判别器(Discriminator)：判断这张图像是真实的还是机器⽣成的，⽬的是找出⽣成
    器做的“假数据”

3个优势

  1. 能更好建模数据分布（图像更锐利、清晰）
  2. 理论上，GANs 能训练任何⼀种⽣成器⽹络。其他的框架需要⽣成器⽹络有⼀些特
    定的函数形式，⽐如输出层是⾼斯的。
  3. ⽆需利⽤⻢尔科夫链反复采样，⽆需在学习过程中进⾏推断，没有复杂的变分下
    界，避开近似计算棘⼿的概率的难题。

2个缺陷

  1. 难训练，不稳定。⽣成器和判别器之间需要很好的同步，但是在实际训练中很容易
    D收敛，G发散。D/G 的训练需要精⼼的设计。
  2. 模式缺失（Mode Collapse）问题。GANs的学习过程可能出现模式缺失，⽣成器
    开始退化，总是⽣成同样的样本点，⽆法继续学习。