神经网络的激励函数 神经元激励函数

神经网络： 神经网络又称为人工神经网络（artificial neutral network,ANN）。神经网络是一种人类由于受到生物神经细胞结构启发而研究出的一种算法体系

神经元：

如上图所示是一个最简单的神经元，有一个输入，一个输出。我们现在所使用的神经元通常有两个部分组成，一个是“线性模型”，另一个是“激励函数”。假设这个神经元的函数表达式为：f(x)=x+1,那么这就是一个普通的一次函数。

x既然可以是一维的向量，其实也可以是n维的（如下图所示）。我们可以建立一个由n个输入项的神经元f(x),将其展开写就是f（x1,x2,x3,…,xn）,带有一个输出函数值output,即output=f(x),而这个函数的处理我们写作：

这种方式是神经元最核心部分对x所做的线性处理，其中x是一个n * 1的矩阵，而w是一个1 * n的权重矩阵，b是偏置项。假设，n是5,那么x是一个5x1的输入矩阵。

这就是一个完整的特征向量，它表示了对一个样本的描述，这个描述是个多维度的描述，具体每个维度指代的含义在不同的场景下是对应由不同解释的。比如这个矩阵可能表示的是一个样本客户的个人财务状况，分别表示：

W是一个n1的矩阵，它表示的是一个权重的概念，例如：

它们分别表示：

wx相乘是两个矩阵进行内积操作，乘出来是一个实数，最后再加上b，所以b也是一个实数。我们假设在这个例子中b是0，则f(x)=wx+b就变成了f(x)=10.3+500.8+271.5+19*1.2+(-55)*0.5+0=44.7

这个函数很有可能是某个金融机构用来评价客户质量所使用的评价函数。这个权重（1*n的矩阵w）一般是通过“逆向”的方法所得到。

比如通过多年的业务经验总结，由业务专家赋予每个样本一个分数标签。

当有了n个这种样本以后，我们通过类似多元线性回归的方式把这些值代入我们假定的f(x)函数中，会得到：

激励函数（activation function）,是神经元中重要的组成部分。激励函数在一个神经元中跟随在f(x)=wx+b函数之后，用来加入一些非线性的因素。

神经网络：一旦多个神经元首尾连接形成一个类似网络的结构来协同工作的时候，那就可以被称为神经网络。一个神经网络通常分为：输入层（input layer）、隐藏层(hidden layer)、输出层（output layer）。
输入层在整个网络的最前端部分，直接接受输入的向量，它是不对数据做任何处理的，所以通常这一层是不计入层数的。

隐藏层可以有一层或多层，深度残差网络中隐藏层中超过150层。

输出层是最后一层，用来输出整个网络处理的值。

如有错误，敬请批评指正！谢谢！