概念：人工神经网络是在现代神经生物学研究基础上提出的模拟生物过程，反映人脑某些特性的一种计算结构。
人工神经元模型中的激活函数
其中 w_i·x_i为输入信号加权，θ为阈值（偏置量）
常见的形式有四种：
- 阶跃式
- sigmoid
- ReLu
- ELu
人工神经元网络
神经元与神经元之间彼此连接成复杂的网络才有用。有两种主要的人工神经元网络。
前馈型神经网络
信息时有层次的，总是从前一层的神经元单向传递到下一层
隐含层的神经元是外界无法直接访问的，与输入输出层以及隐含层神经元互相之间的连接是人工神经元网络实现复杂功能的核心。
前馈型神经网络是一个静态的模型，当前时刻的网络输出与历史时刻的网络输入输出无关，给定输入就可以得到输出。
反馈型神经网络
是一种存在从靠近输出端的神经元向靠近输入端的神经元的信息传递网络，后端的输出会链接到更考前的神经元的输入上，与之前的输入输出有关，是有“记忆”的。
输出层到输入层的反馈——>Hopfield
后一层向前一层的反馈 ——>受限玻尔兹曼机
无明显层次，相互链接——> 任意反馈链接
★输入与输出的映射关系是由其内部结构和参数（最优权向量、偏置量θ）共同决定的。
特点：
- 有简单单元构成的复杂网络
- 本质上进行大规模的并行计算
- 分布式信息存储
- 自适应学习能力强
主流方案
GPU:远不是对于计算机图形进行高速处理的芯片
FPGA：现场可编程门阵列，是一种可以通过软件编程改变电路结构的半定制大规模集成电路
专门设计的AI芯片：包含GPU和 FPGA的元素
人工神经元的学习规则
分为单神经元和多神经元，多神经元由单神经元添加层次或者是参数实现
完整的神经网络训练问题可以分为两个层次研究
- 每个神经元如何根据输入输出数据来学习到自身最优的参数
- 如何使得到网络中的所有神经元都能获得有效的输入输出来完成自身的学习
通过增加一个取值固定的-1的维度，构成n+1维的输入的权值和偏置量。则将激活函数转化为
对于每一个神经元来说，它是用输入信号与偏置量之间的线性组合构成净激励，再用净激励通过激活函数去激发输出。★直接求最优权值较为困难，通过递推不断修正w的解 △w
如何求解设定△w？
△w(t)：t时刻神经元权值的修正量
x(t):输入向量
y(t):输出向量
Yd(t)：x(t)对应的期望输出
r：学习信号
η：学习速率
两种神经元的学习规则
误差反馈学习
学习目标通过逐步递推修正权向量使得误差减小直至消失
r=r(e(t)) e(t)=Yd(t)-y(t)
感知器算法
为学习信号
所有的神经元学习规则其权向量修正值都是由学习速率与学习信号及输入向量相乘构成。
感知器的激活函数是一个阶跃函数
△w(t)=±ηx(t)，x∈错分样本
整体神经网络学习规则
并不是所有输入输出层都能与外界相连，大致有三种学习方案
逐层更新学习
适用于前馈网络
（1）无监督学习模式
在所有神经元的状态更新完成后，可以进行每个神经元的权向量调整，逐一完成。
（2）有监督学习
需要从输出层开始，从输出误差估计输入误差，将误差传递给所有的神经元
状态更新——>误差更新——>神经元学习
竞争学习
指在同一层中，接受相同输入的神经元，输出最大的一个获胜，可以调整权向量，调整规则 △w(t)=η(x(t)-w(t))
用训练集样本训练网络时，可以使每个神经元的权向量逐步逼近样本集的聚类中心，
