深度学习，人工智能，神经网络这些概念往往令初学者头疼不已，这里列出其基础概念的归纳总结，帮助小白入坑，共同学习。
基础概念
人工神经网络(Artificial Neural Network，ANN),是一种模拟生物神经网络的结构和功能的数学模型或计算模型。
LeNET：Gradient-based learning applied to document recognition论文提出
神经网络与小波分析、混沌、粗糙理论、分形理论的融合。
1943年，美国心理学家和数学家提出模拟生物神经元，被称为MP的人工神经网络，特征：连续时间非线性动力学，并行分布。
神经网络结构：
- 向前网络
- 反馈网络
学习方法：
- 监督学习：将训练样本的数据加到网络输入端，同时将相应的期望输出与网络输出相比较，得到误差信号，以此控制权值连接强度的调整，经过多次训练后收敛到一个确定的权值。
- 非监督学习：不给定标准样本，直接将网络置于环境之中，学习阶段与工作阶段成为一体。例子：Hebbian学习规则、竞争学习 Hebbian学习规则：学习过程最终发生在神经元之间的突触，突触的联系强度随着突触前后神经元的活动而变化。 竞争学习：根据已建立的聚类进行权值调整。自组织映射、适应谐振理论网络都与竞争学习有关。
感知器
单层感知器只能对线性可分的向量集合进行分类。为了解决线性不可分(如异或问题)的输入向量大的分类问题，可以在单层感知器中增加网络层，即多层感知神经网络。
线性神经网络
由线性神经元构成，最简单的一种。代表为1960年斯坦福大学B.Widrow提出自适应线性神经元，学习算法是least mean squares(LMS)算法。 用途：用于函数逼近、信号处理滤波、预测、模式识别等方面。与感知器神经网络的不同之处在于每个神经元的传递函数为线性函数(purelin)，感知器网络的输出只能是0和，线性神经网络的输出可以取任意值。
matlab代码：产生线性神经网络和计算网络的输出
net=newlind(P,T)y=sim(net,P)BP神经网络
BP(Back Propagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出的，是一种按误差逆传播算法训练的多层前馈网络。
BP神经网络算法
BP网络能学习和存储大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学模型。学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。
RBF神经网络
1985年，Powell提出多变量插值的RBF函数方法，能够以任意精度逼近任意连续函数，特别适合解决分类问题。
反馈型神经网络
反馈网络，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。其能够表现出非线性动力学系统的动态特性，具有主要特性为：
- 网络系统具有若干个稳定状态，当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态
- 系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。
反馈网络
输入延迟
输出延迟
竞争型神经网络
竞争型神经网络是基于无监督学习方法的神经网络的一种重要类型，可以构成具有自组织能力的网络，如自组织竞争型神经网络、自组织映射网络、学习向量量化网络等。
基本思想：让竞争层各神经元来竞争对输入模式相应的机会，最后仅有一个神经元成为竞争的胜者。获胜神经元的输出代表对输入模式的分类。
