深度学习(DL, Deep Learning)是机器学习领域中一个新的研究方向,它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Intelligence)。

深度学习置信度confidence_深度学习置信度confidence

  • 深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。 至今已有数种深度学习框架,如深度神经网络、卷积神经网络和深度置信网络(英语:Deep belief network)和循环神经网络已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并取得了极好的效果。
  • 深度学习是机器学习中一种基于对数据进行表征学习的算法。观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如,人脸识别或面部表情识别[6])。深度学习的好处是用非监督式或半监督式(英语:Semi-supervised learning)的特征学习和分层特征提取高效算法来替代手工获取特征。

深度学习框架

深度神经网络(Convolutional Neural Networks, CNN)

深度学习置信度confidence_深度学习置信度confidence_02

  • 深度神经网络是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。
  • 深度神经网络很容易产生过拟合现象,因为增加的抽象层使得模型能够对训练数据中较为罕见的依赖关系进行建模。
深度置信网络(deep belief networks,DBN)
  • 深度置信网络是一种包含多层隐单元的概率生成模型,可被视为多层简单学习模型组合而成的复合模型。
  • 深度置信网络可以作为深度神经网络的预训练部分,并为网络提供初始权重,再使用反向传播或者其它判定算法作为调优的手段。这在训练数据较为缺乏时很有价值,因为不恰当的初始化权重会显著影响最终模型的性能,而预训练获得的权重在权值空间中比随机权重更接近最优的权重。这不仅提升了模型的性能,也加快了调优阶段的收敛速度。
  • 深度置信网络中的每一层都是典型的受限玻尔兹曼机(restricted Boltzmann machine,RBM),可以使用高效的无监督逐层训练方法进行训练。
卷积神经网络(convolutional neural networks,CNN)
  • 卷积神经网络由一个或多个卷积层和顶端的全连通层(对应经典的神经网络)组成,同时也包括关联权重和池化层(pooling layer)。

深度学习置信度confidence_卷积_03

  • 详情见卷积神经网络
卷积深度置信网络(convolutional deep belief networks,CDBN)
  • 卷积深度置信网络是深度学习领域较新的分支。在结构上,卷积深度置信网络与卷积神经网络在结构上相似。因此,与卷积神经网络类似,卷积深度置信网络也具备利用图像二维结构的能力,与此同时,卷积深度信念网络也拥有深度置信网络的预训练优势。

应用

语音识别
图像分类