神经网络NN：
1.许多简单的单元并行工作，没有中心控制点。
2.单元之间的权重是信息（知识）持久化的主要手段。
3.更新权重是学习知识的手段。
神经网络的行为是由网络架构所决定的，网络架构包括：
1.神经元个数
2.层数
3.层与层之间的连接类型。
前馈多层NN的最简单的NN。1层输入，多层隐藏层，1层输入。全连接，有向无环图。如果神经元足够多，它可以表示任何函数。用后向传播算法做为学习算法。可能导致局部最优，但很少。并行计算和GPU可加快训练。
生物学原理：
神经细胞之间存在突触，且并神经细胞会发出“电化学脉冲”信号。
如果信号足够强，会跨过突触间隙，达到另一个神经细胞，就可以激活神经细胞释放“化学物质”。
如果信号强度不够，不会释放化学物质。
神经细胞有许多树枝状结晶（树突Dendrites），但只有一个轴突（axon），轴突可以有数百个分叉，并且很长，有细胞的100倍长。
树突与轴突之间的连接点就是突触。（小时候生物没学习，简直就象念绕口令，：（ ）
多数情况下，一个神经元的轴突发信息，经过突触，到另一个神经元的树突。
树突接收到信号（突触神经传递素synaptic neurotransmitters），根据突触神经传递素的增加或减少以及树突的权重，成比率的释放化学物质。
小结：神经细胞发出电化学脉冲，通过长长的轴突，激活突触。突触发出“突触神经传递素”到达另一个神经细胞的树突。树突根据到达的神经传递素的多少，及自身的权重，成比例释放化学物质。（汗）
突触可以增强信息，也可以减弱信息。
可塑性指对输入刺激在连接强度上的长期改变。
神经元可以形成新的连接，甚至改变连接。（学习过程真复杂！再进一步？现代科学也没法了解了。）