提出
2006年是深度学习的起始年，Hinton在SCIENCE上发文，提出一种叫做自动编码机（Auto-encoder）的方法，部分解决了神经网络参数初始化的问题。
概念
自编码器是一种能够通过无监督学习，学到输入数据高效表示的人工神经网络。输入数据的这一高效表示称为编码（codings），其维度一般远小于输入数据，使得自编码器可用于降维（特征提取器）。更重要的是，自编码器可作为强大的特征检测器（feature detectors），应用于深度神经网络的预训练。此外，自编码器还可以随机生成与训练数据类似的数据，这被称作生成模型（generative model）。比如，可以用人脸图片训练一个自编码器，它可以生成新的图片。
自编码器通过简单地学习将输入复制到输出来工作。这一任务（就是输入训练数据， 再输出训练数据的任务）听起来似乎微不足道，但通过不同方式对神经网络增加约束，可以使这一任务变得极其困难。比如，可以限制内部表示的尺寸（这就实现降维了），或者对训练数据增加噪声并训练自编码器使其能恢复原有。这些限制条件防止自编码器机械地将输入复制到输出，并强制它学习数据的高效表示。简而言之，编码（就是输入数据的高效表示）是自编码器在一些限制条件下学习恒等函数（identity function）的副产品。
一个自编码器接收输入，将其转换成高效的内部表示，然后再输出输入数据的类似物。自编码器通常包括两部分：encoder（也称为识别网络）将输入转换成内部表示，decoder（也称为生成网络）将内部表示转换成输出
正如上图所示，自编码器的结构和多层感知机类似，除了输入神经元和输出神经元的个数相等。在上图的例子中，自编码器只有一个包含两个神经元的隐层（encoder），以及包含3个神经元的输出层（decoder）。输出是在设法重建输入，损失函数是重建损失（reconstruction loss）。
由于内部表示（也就是隐层的输出）的维度小于输入数据（用2D取代了原来的3D),这称为不完备自编码器（undercomplete autoencoder）。
训练步骤
训练如下网络：
步骤1：先训练这个网络：（使用BP算法）
这个就是自编码器
步骤2：训练好第1层后，接着训练第二层：
第二层的输入并不是x，前一层输出的x被替换成了x1（下一层的输入）
步骤M：以此类推，训练好第M-1层后，接着训练第M层。
最后用BP对网络进行微调
这样，在训练后面的参数时，前面已经训练的参数被固定住了。
此外，通过自动编码机，进行了降维，有利于提高训练效率。
matlab代码讲解
1、test_for_dnn.m
…数据准备… (略)
%create a net
dnn = nn_create([784,400,169,49,10]);
% train
dnn = dnn_train(dnn,train_x,train_y);
%adjust
dnn = dnn_adjust(dnn,train_x,train_y);
%test
[wrongs,success_ratio,dnn] = nn_test(dnn,test_x,test_y);2、function dnn = dnn_train(dnn,train_x,train_y)
… 设置BATCH SIZE 等参数… (略)
for k = 1 : numel(dnn.size)- 2
sae = sae_create([dnn.size(k),dnn.size(k+1)]);
sae = sae_train(sae,option,train_x);
dnn.W{k} = sae.W{1};
dnn.b{k} = sae.b{1};
sae = nn_predict(sae,train_x);
train_x = sae.a{2}';
end
k = k + 1;
nn = nn_create([dnn.size(k),dnn.size(k+1)]);
nn = nn_train(nn,option,train_x,train_y);
dnn.W{k} = nn.W{1};
dnn.b{k} = nn.b{1};
end3、 function sae = sae_create(SIZE)
sae = nn_create([SIZE(1),SIZE(2),SIZE(1)]);4、function sae = sae_train(sae,option,train_x)
sae.encoder = 1;
sae = nn_train(sae,option,train_x,train_x);
end
