离散型Hopfield神经网络
J. J. Hopfield
离散Hopfield神经网络模型
网络结构：
离散Hopfield神经网络模型输入输出关系：
网络的稳定性
稳定性定义：
若从某一时刻开始，网络中所有神经元的状态不再改变，即
， 则称该网络是稳定的， 为网络的稳定点或吸引子 。
Hopfield神经网络是高维非线性系统，可能有许多稳定优态。从任何初始状态开始运动，总可以到某个稳定状态。这些稳定状态可以通过改变网络参数得到。
稳定性定理证明：1983年，科恩（Cohen）、葛劳斯伯格（S. Grossberg）。
稳定性定理（Hopfield）
串行稳定性 —— W：对称阵
并行稳定性 —— W：非负定对称阵
连续型Hopfield神经网络及其VLSI实现
连续Hopfield神经网络模型
网络的稳定性
计算能量函数 ：
随机神经网络
Hopfield神经网络中，神经元状态为1是根据其输入是否大于阈值确定的，是确定性的。
随机神经网络中，神经元状态为1是随机的，服从一定的概率分布。例如，服从玻尔兹曼(Boltzmann)、高斯(Gaussian)、柯西(Cauchy)分布等，从而构成玻尔兹曼机、高斯机、柯西机等随机机。
Boltzmann机
1985年，加拿大多伦多大学教授欣顿(Hinton)等人借助统计物理学的概念和方法，提出了Boltzmann机神经网络模型。
Boltzmann机是离散Hopfield神经网络的一种变型，通过对离散Hopfield神经网络加以扰动，使其以概率的形式表达，而网络的模型方程不变，只是输出值类似于Boltzmann分布以概率分布取值。
Boltzmann机是按Boltzmann概率分布动作的神经网络。
离散Hopfield神经网络的输出：
Boltzman机的内部状态：
神经元i输出值为0和1时的概率：
Boltzmann的能量函数：
神经元i状态转换时网络能量的变化：
神经元i改变为状态“1”的概率：
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
