一、神经元模型

1.神经网络的定义:神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体作出交互反应。

2.神经元:神经网络中最基本的成分是神经元模型。某一神经元的点位超过某一“阈值”,它会被激活,变为“兴奋”状态,向其他神经元发送化学物质。

一个神经网络可以输入两个矩阵吗 神经网络中一个神经元_感知机

图中x1,x2...xi,xn为来自第i个神经元的输入,wi 表示第i个神经元的的权值,θ表示当前神经元的阈值,y表示输出。

       在这个模型中,神经元接受来自n个其他神经元传递过来的输入信号,这些输入信号通过带权重的连接进行传递,神经元接受到的总输入值将与神经元的阈值进行比较,然后通过激活函数产生神经元的输出。

激活函数如下图所示:

一个神经网络可以输入两个矩阵吗 神经网络中一个神经元_感知机_02

sigmoid激活函数连续、光滑、可导。将输入值都挤压到(0,1)之间。

3.感知机

感知机的详细知识在我的博客有详细说明。

        感知机由两层神经元构成,但是只有输出层神经元进行激活函数处理,即只拥有一层功能神经元。它可以实现逻辑与、或、非运算,但是感知机不能解决非线性问题。要解决非线性问题,需要考虑使用多层功能神经元。简单的两层感知机就能解决异或问题。输出层和输入层中间的一层神经元,称为隐层或隐含层。隐含层和输出层神经元都是含有激活函数的功能神经元。

神经网络的学习过程,就是根据训练数据来调整神经元之间的“连接权”以及每个功能神经元的阈值。

4.误差逆传播算法

        多层网络的学习能力比单层感知机更为强大,训练多层网络,简单的感知机学习规则不能够执行这项操作,就需要更为强大的学习算法。误差逆传播(error BackPropagation,BP)算法是其中最杰出的代表。BP算法不仅可以用于多层前馈神经网络,还可用于其他类型的神经网络。