目录
- 1、感受野（Receptive Field）
- 2、上采样（upsampling）
- 3、残差网络(Resnet)
- 4、人工神经网络（ANN）
- 5、 卷积神经网络（CNN）
- 6、经典的卷积神经网络
- 7、 循环神经网络或递归神经网络（RNN）
- 8、 LSTM
- 9、对抗神经网络（GAN)
- 10、[孪生网络（ Siamese Network）]()
- 11、 [语义分割]()
- 12、下采样（subsampled）
1、感受野（Receptive Field）
感受野的定义是卷积神经网络每一层输出的特征图（feature map）上的像素点在输入图片上映射的区域大小
参考：
2、上采样（upsampling）
上采样：又名放大图像、图像插值；
主要目的是放大原图像,从而可以显示在更高分辨率的显示设备上；
上采样有3种常见的方法：双线性插值(bilinear)，反卷积(Transposed Convolution)，反池化(Unpooling)；
插值算法还包括了传统插值，基于边缘图像的插值，还有基于区域的图像插值。
3、残差网络(Resnet)
56层比20层要错误要高很多，那多的36层怎么搞，需要来进行同等映射，不能剔除，那就把有用的层保持，无用的层权重参数变成0
原来卷积结果+最初的，旧和新的相加，里面可能有白玩的，好的用，错的白玩，这样就能保证至少不比原来差
50层101层比较常见
4、人工神经网络（ANN）
单个感知器（或神经元）可以想象为逻辑回归。人工神经网络（ANN）是一组多层感知器/神经元。ANN也被称为前馈神经网络，因为输入只在正向处理：
ANN由3层组成：输入层、隐藏层和输出层。输入层接受输入，隐藏层处理输入，输出层生成结果。本质上，每一层都试图学习某些权重。
有激活函数ANN可用于解决与以下相关的问题：
表格数据
图像数据
文本数据
5、 卷积神经网络（CNN）
有卷积核，可以输入图像
其一是局部感受野，其二是权值共享，其三是 pooling 层，
卷积神经网络，也叫 CNN，由纽约大学的 Yann Lecun 于 1998 年提出，其本质是一个多层感知机，成功的原因在于其所采用的局部连接和权值共享的方式：
卷积和池化层：叠加实现对输入数据的特征提取，最后链接全连接层实现分类
对图像处理有出色表现，在计算机视觉中得到广泛应用
卷积神经网络：卷积层+池化层+全连接层
- 每个神经元只需要对 局部图像 进行感知
- 将在更高层将局部信息综合起来，得到全局信息
- 应用：图像分类、目标检测、目标跟踪、语义分割、实例分割等
6、经典的卷积神经网络
- LeNet5：LeNet5是由Y.LeCun等人提出的，主要进行手写数字识别和英文字母识别。没啥特点-不过是第一个CNN应该要知道
- AlexNet：引入了 ReLU 和 dropout，引入数据增强、池化相互之间有覆盖，三个卷积一个最大池化+三个全连接层
- VGG-16
- Inception Net：这个在控制了计算量和参数量的同时，获得了比较好的分类性能，和上面相比有几个大的改进：1、去除了最后的全连接层，而是用一个全局的平均池化来取代它； 2、引入 Inception Module，这是一个4个分支结合的结构。所有的分支都用到了 1x1 的卷积，这是因为 1x1 性价比很高，可以用很少的参数达到非线性和特征变换。3、Inception V2第二版将所有的 5x5 变成 2 个 3x3，而且提出来著名的 Batch Normalization；4、Inception V3 第三版就更变态了，把较大的二维卷积拆成了两个较小的一维卷积，加速运算、减少过拟合，同时还更改了 Inception Module 的结构。
- ResNet（残差神经网络）：1、引入高速公路结构，可以让神经网络变得非常深 2、ResNet第二个版本将ReLU激活函数变成y=x的线性函数
- DenseNet （密集网络）
- UNet
R-CNN系列：另外发展起来的
7、 循环神经网络或递归神经网络（RNN）
在传统神经网络上改进的，有圈
输入——隐层——输出
在处理时间序列上有先天优势
CNN主要用来计算机视觉中，Rnn多用在自然语言处理中
8、 LSTM
rnn每一个都堪称同等重要，但是每一个重要性不同，此模型就是将不重要的淘汰
过滤信息
9、对抗神经网络（GAN)
一种用来学习类别特征的神经网络结构，主要由两部分组成，生成网络、判别网络
孪生网络最早用于验证支票上的签名与银行预留签名是否一致，后用于对比两个输入的相似度，随后又慢慢应用到目标跟踪领域。
下采样：又名降采样、缩小图像；
主要目的有两个：1、使得图像符合显示区域的大小；2、生成对应图像的缩略图；
其实下采样就是池化；
