神经网络模型参数辨识 神经网络模型定义

1.前言

走在机器学习的路上, 学习之初，其中很多概念无法理解，叙述不懂其意，理解内容更无从谈起。需要回头学习基础知识。
人工智能的基础模型是神经网络，在此基础上发展出更多复杂的技术，比如机器学习。

2.神经网络结构

2.1 生物神经网络

1. 外部刺激通过神经末梢，转化为电信号，转导到神经细胞（又叫神经元）。

2. 无数神经元构成神经中枢。

3. 神经中枢综合各种信号，做出判断。

4. 人体根据神经中枢的指令，对外部刺激做出反应。

2.2 神经元抽象为数学模型

2.3 单层神经元网络

单层神经网络示意图：

是最基本的神经元网络形式，由有限个神经元构成。

1. 所有神经元的输入向量都是同一个向量；
2. 单层神经元的输出是一个向量（每个神经元都会产生一个标量结果）；
3. 向量的维数等于神经元的数目；

2.4 多层神经网络

–基本结构

多层神经网络示意图：

一种常见的多层结构的前馈网络（Multilayer Feedforward Network）由三部分组成，
1. 输入层（Input layer），众多神经元（Neuron）接受大量非线形输入消息。输入的消息称为输入向量。
2. 输出层（Output layer），消息在神经元链接中传输、分析、权衡，形成输出结果。输出的消息称为输出向量。
3. 隐藏层（Hidden layer），简称“隐层”，是输入层和输出层之间众多神经元和链接组成的各个层面。隐层可以有多层，习惯上会用一层。隐层的节点（神经元）数目不定，但数目越多神经网络的非线性越显著，从而神经网络的强健性（robustness）（控制系统在一定结构、大小等的参数摄动下，维持某些性能的特性。）更显著。习惯上会选输入节点1.2至1.5倍的节点。

神经网络的类型已经演变出很多种，这种分层的结构也并不是对所有的神经网络都适用。