第一篇提出BP神经网络的论文是哪一篇?

最初是86年,Rumelhart和McCelland领导的科学家小组在《平行分布式处理》一书中,对具有非线性连续变换函数的多层感知器的误差反向传播BP算法进行了详尽的分析,实现了Minsky关于多层网络的设想。

一般引用的话,无需引用第一篇,只需引用介绍BP网络的文献即可。最开始的文献往往理论不完善。反而阅读意义不大。

本人毕设题目是关于神经网络用于图像识别方面的,但是很没有头续~我很不理解神经网络作用的这一机理

我简单说一下,举个例子,比如说我们现在搭建一个识别苹果和橘子的网络模型:我们现在得需要两组数据,一组表示特征值,就是网络的输入(p),另一组是导师信号,告诉网络是橘子还是苹果(网络输出t):我们的样本这样子假设(就是):pt10312142这两组数据是这样子解释的:我们假设通过3个特征来识别一个水果是橘子还是苹果:形状,颜色,味道,第一组形状、颜色、味道分别为:103(当然这些数都是我随便乱编的,这个可以根据实际情况自己定义),有如上特征的水果就是苹果(t为1),而形状、颜色、味道为:214的表示这是一个橘子(t为2)。

好了,我们的网络模型差不多出来了,输入层节点数为3个(形状、颜色,味道),输出层节点为一个(1为苹果2为橘子),隐藏层我们设为一层,节点数先不管,因为这是一个经验值,还有另外的一些数值可以在matlab里设定,比如训练函数,训练次数之类,我们现在开始训练网络了,首先要初始化权值,输入第一组输入:103,网络会输出一个值,我们假设为4,那么根据导师信号(正确的导师信号为1,表示这是一个苹果)计算误差4-1=3,误差传给bp神经网络,神经网络根据误差调整权值,然后进入第二轮循环,那么我们再次输入一组数据:204(当仍然你可以还输入103,而且如果你一直输入苹果的特征,这样子会让网络只识别苹果而不会识别橘子了,这回明白你的问题所在了吧),同理输出一个值,再次反馈给网络,这就是神经网络训练的基本流程,当然这两组数据肯定不够了,如果数据足够多,我们会让神经网络的权值调整到一个非常理想的状态,是什么状态呢,就是网络再次输出后误差很小,而且小于我们要求的那个误差值。

接下来就要进行仿真预测了t_1=sim(net,p),net就是你建立的那个网络,p是输入数据,由于网络的权值已经确定了,我们这时候就不需要知道t的值了,也就是说不需要知道他是苹果还是橘子了,而t_1就是网络预测的数据,它可能是1或者是2,也有可能是1.3,2.2之类的数(绝大部分都是这种数),那么你就看这个数十接近1还是2了,如果是1.5,我们就认为他是苹果和橘子的杂交,呵呵,开玩笑的,遇到x=2.5,我一般都是舍弃的,表示未知。

总之就是你需要找本资料系统的看下,鉴于我也是做图像处理的,我给你个关键的提醒,用神经网络做图像处理的话必须有好的样本空间,就是你的数据库必须是标准的。

至于网络的机理,训练的方法什么的,找及个例子用matlab仿真下,看看效果,自己琢磨去吧,这里面主要是你隐含层的设置,训练函数选择及其收敛速度以及误差精度就是神经网络的真谛了,想在这么小的空间给你介绍清楚是不可能的,关键是样本,提取的图像特征必须带有相关性,这样设置的各个阈值才有效。

OK,好好学习吧,资料去matlab中文论坛上找,在不行就去baudu文库上,你又不需要都用到,何必看一本书呢!祝你顺利毕业!

基于优化的BP神经网络遥感影像分类

罗小波1刘明培1,2(1.重庆邮电大学计算机学院中韩GIS研究所,重庆,400065;2.西南大学资源环境学院,重庆,400065)摘要:在网络结构给定的情况下,利用遗传算法的全局寻优能力得到一组权值和阈值作为BP神经网络的初始权值和阈值,来避免BP神经网络易陷入局部极小的缺陷,同时也可以提高网络的收敛速度。

然后再利用BP神经网络的局部寻优能力,对权值和阈值进行进一步的精细调整。实验结果表明,把这种基于遗传算法的BP神经网络应用于遥感影像监督分类,具有较高的分类精度。

关键词:BP神经网络;遗传算法;遥感影像分类1引言随着遥感技术的快速发展,遥感技术已经广泛应用于各个领域。其中,遥感影像分类是其重要组成部分。

近年来,随着人工神经网络理论的快速发展,神经网络技术日益成为遥感影像分类中的有效手段,特别是对高光谱等影像数据,更是具有许多独特的优势。

一般我们把采用BP(Back-propogation)算法的多层感知器叫做BP神经网络,它是目前研究得最完善、应用最广泛的神经网络之一。

与经典的最大似然法相比,BP神经网络最大的优势就是不要求训练样本正态分布。但是,它具有结构难以确定、容易陷入局部极小、不易收敛等缺陷。在本文中,网络的结构由用户根据问题的复杂度确定。

在进行网络训练之前,利用遗传算法的全局寻优能力确定网络的初始权值和阈值;然后利用BP学习算法的局部寻优能力对网络进行进一步的精细调整。最后利用训练后的网络进行遥感影像监督分类。

结果表明,基于遗传算法的BP神经网络进行遥感影像监督分类,具有较高的分类精度。2BP神经网络2.1网络结构BP神经网络的结构一般包括输入层、中间隐层、输出层。

在模式识别中,输入层的神经元个数等于输入的特征个数,输出层的神经元个数等于需要分类的类别数。隐层可以为一层或多层,但一般的实际应用中一层隐层就可以满足要求。

而各隐层的神经元个数需要根据实际问题的复杂度而定。以单隐层为例,其结构示意图如图1。

为了实现一种通用的遥感影像分类手段,除了提供默认的网络结构外,还为使用者提供了根据实际问题的复杂度自行确定网络隐层数与各隐层神经元数的功能。

这为一些高级用户提供了灵活性,但这种灵活性在一定程度上增加了使用的难度,有时也需要一个实验的过程,才能取得满意的效果。

图1BP神经网络结构2.2BP学习算法算法的基本步骤如下:(1)将全部权值与节点的阈值预置为一个小的随机数。(2)加载输入与输出。在n个输入节点上加载一n维向量X,并指定每一输出节点的期望值。

每次训练可以选取新的同类或者异类样本,直到权值对各类样本达到稳定。(3)计算实际输出y1,y2,…,yn。(4)修正权值。

权值修正采用了最小均方(LMS)算法的思想,其过程是从输出节点开始,反向地向第一隐层传播由总误差诱发的权值修正。

下一时刻的互连权值Wij(t+1)由下式给出:土地信息技术的创新与土地科学技术发展:2006年中国土地学会学术年会论文集式中,j为本节点的输出;i则是隐层或者输入层节点的序号;或者是节点i的输出,或者是外部输入;η为学习率;α为动量率;δj为误差项,其取值有两种情况:A.若j为输出节点,则:δj=yj(1-yj)(tj-yj)其中,tj为输出节点j的期望值,yj为该节点的实际输出值;B.若j为内部隐含节点,则:土地信息技术的创新与土地科学技术发展:2006年中国土地学会学术年会论文集其中k为j节点所在层之上各层的全部节点。

(5)在达到预定的误差精度或者循环次数后退出,否则,(2)。2.3基于遗传算法的网络学习算法遗传算法具有全局寻优、不易陷入局部极小的优点,但局部寻优的能力较差。而BP学习算法却具有局部寻优的优势。

因此,如果将两种算法结合起来构成混合训练算法,则可以相互取长补短获得较好的分类效果。

主要思路如下:(1)利用遗传算法确定最优个体A.把全部权值、阈值作为基因进行实数编码,形成具有M个基因的遗传个体结构,其中M等于所有权值、阈值的个数。

B.设定种规模N,随机初始化这N个具有M个基因的结构。C.适应度的计算:分别用训练样本集对N组权值、阈值进行训练,得出各自网络期望输出与网络实际输出的总误差e,适应度f=1.0-e。

D.进行遗传算子操作,包括选择算子、交叉算子和变异算子,形成新的体:其中,选择算子采用了轮盘赌的方法,交叉算子采用了两点交叉。E.反复进行C、D两步,直到满足停止条件为止。

停止条件为:超出最大代数、最优个体精度达到了规定的精度。(2)把经过GA优化后的最优个体进行解码操作,形成BP神经网络的初始权值和阈值。(3)采用BP学习算法对网络进行训练,直到满足停止条件。

停止条件为:①达到最大迭代次数;②总体误差小于规定的最小误差。网络训练结束后,把待分数据输入训练好的神经网络,进行分类,就可以得到分类结果影像图。

3应用实例实现环境为VC++6.0,并基于Mapgis的二次开发平台,因为二次平台提供了一些遥感影像的基本处理函数,如底层的一些读取文件的基本操作。

实验中使用的遥感影像大小为500×500,如图1所示。该影像是一美国城市1985年的遥感影像图。

根据同地区的SPOT影像及相关资料,把该区地物类别分为8类,各类所对应的代码为:C1为水体、C2为地、C3为绿化林、C4为裸地、C5为大型建筑物、C6为军事基地、C7为居民地、C8为其他生活设施(包括街道、道路、码头等)。

其中,居民地、军事设施、其他生活设施的光谱特征比较接近。

图1TM原始影像(5,4,3合成)在网络训练之前,经过目视解译,并结合一些相关资料,从原始图像上选取了3589个类别已知的样本组成原始样本集。

要求原始样本具有典型性、代表性,并能反映实际地物的分布情况。把原始样本集进行预处理,共得到2979个纯净样本。这些预处理后的样本就组成训练样本集。

网络训练时的波段选择为TM1、TM2、TM3、TM4、TM5、TM7共6个波段。

另外,由于所要分类的类别数为8,因此,网络结构为:输入层节点数为6,输出层节点数为8,隐层数为1,隐层的节点数为10,然后用训练样本集对网络进行训练。

在训练网络的时候,其训练数分别为:学习率为0.05,动量率为0.5,最小均方误差为0.1,迭代次数为1000。把训练好的网络对整幅遥感影像进行分类,其分类结果如下面图2所示。

图2分类结果为了测试网络的分类精度,在分类完成后,需要进行网络的测试。

测试样本的选取仍然采用与选取训练样本集一样的方法在原始影像上进行选取,即结合其他资料,进行目视判读,在原始图像上随机选取类别已知的样本作为测试样本。

利用精度评价模块,把测试样本集与已分类图像进行比较,得到分类误差矩阵以及各种分类精度评价标准,如表1所示:表1分类误差矩阵总体精度:0.91,Kappa系数:0.90。

从表1可以看出,采用测试样本集进行测试,大部分地物的分类精度都达到了0.9以上,只有居民地和其他生活设施的精度没有达到,但也分别达到了0.89和0.77,总的分类精度为0.91。

Kappa系数在遥感影像分类精度评价中应用极为广泛,在本次测试中其值为0.90。从上面的分析可以看出,利用基于遗传算法的BP神经网络进行遥感影像分类,其分类精度较高,取得了令人满意的效果。

4结论与传统的基于统计理论的分类方法相比,BP神经网络分类不要求训练样本正态分布,并且具有复杂的非线性映射能力,更适合于日益激增的海量高光谱遥感数据的处理。

但BP神经网络也有易陷于局部极小、不易收敛等缺陷。初始权值和阈值设置不当,是引起网络易陷于局部极小、不易收敛的重要原因。

在实验中,利用遗传算法的全局寻优能力来确定BP网络的初始权值和阈值,使得所获取的初始权值和阈值是一组全局近似最优解。然后,利用BP学习算法的局部寻优能力对网络权值和阈值进行精细调整。

这样,训练后的稳定网络,不但具有较强的非线性映射能力,而且总可以得到一组均方误差最小的全局最优解。

实验表明,利用上述的基于遗传算法的BP神经网络进行遥感影像分类,只要所选取的训练样本具有代表性,能反映实际地物的分布情况,就能够得到较高的分类精度,具有较强的实际应用价值。

考文献H.Yangetal,ABack-propagationneuralnetworkmformineralogicalmappingfromAVIRISdata,Int.J.Remotesensing,20(1):97~110ArdutiAlessandro,etal.Speeduplearningandnetworkoptimizationwithextendedbackpropogation.NeuralNetworks,1993,6:365~383PatrickP.Minimizationmethodsfortrainingfeedforwardneuralnetworks.NeuralNetworks,1994,7:1~12GoldbergDE.GeneticalgorithmsinSearchOptimizationandMachine:Addison-Wesley,1989RudolphGunter.ConvergenceanalysisofcanonicalgeneticTransactionsonNeuralNetworks,1994,5(1);102~119FangJ,XiY.Towarddesignbasedonevolutionary.,1997,11(2):155~161ParkYR,etal.PredictionsunspotsusinglayeredperceptionneuralNeuralNetorks,1996,7(2):501~505杨行峻、郑君里.人工神经网络与盲信号处理[M].北京:清华出版社,2003,23~40周成虎、骆剑成等.遥感影像地学理解与分析[M].北京:科学出版社,2001,228~238王耀男.卫星遥感图像的神经网络自动识别[J].湖南大学学报,1998,61~66江东,王建华.人工神经网络在遥感中的应用与发展.国土与资源遥感,1999,13~18。

bp神经网络研究现状

BP网络的误差逆传播算法因有中间隐含层和相应的学习规则,使得它具有很强的非线性映射能力,而且网络的中间层数、各层神经元个数及网络的学习系数等数可以根据实际情况设定,有很大的灵活性,且能够识别含有噪声的样本,经过学习能够把样本隐含的特征和规则分布在神经网络的连接权上。

总的说来,BP网络的优点主要有:(1)算法推导清楚,学习精度较高;(2)经过训练后的BP网络,运行速度很快,有的可用于实时处理;(3)多层(至少三层)BP网络具有理论上逼近任意非线性连续函数的能力,也就是说,可以使多层前馈神经网络学会任何可学习的东西,而信息处理的大部分问题都能归纳为数学映射,通过选择一定的非线性和连接强度调节规律,BP网络就可解决任何一个信息处理的问题。

目前,在手写字体的识别、语音识别、文本一语言换、图像识别以及生物医学信号处理方面已有实际的应用。

同时BP算法与其它算法一样,也存在自身的缺陷:(1)由于该算法采用误差导数指导学习过程,在存在较多局部极小点的情况下容易陷入局部极小点,不能保证收敛到全局最小点:(2)存在学习速度与精度之间的矛盾,当学习速度较快时,学习过程容易产生振荡,难以得到精确结果,而当学习速度较慢时,虽然结果的精度较高,但学习周期太长:(3)算法学习收敛速度慢;(4)网络学习记忆具有不稳定性,即当给一个训练好的网络提供新的学习记忆模式时,将使已有的连接权值打乱,导致已记忆的学习模式的信息消失;(5)网络中间层(隐含层)的层数及它的单元数的选取无理论上的指导,而是根据经验确定,因此网络的设计有时不一定是最佳的方案。

什么是BP神经网络?

BP算法的基本思想是:学习过程由信号正向传播与误差的反向回传两个部分组成;正向传播时,输入样本从输入层传入,经各隐层依次逐层处理,传向输出层,若输出层输出与期望不符,则将误差作为调整信号逐层反向回传,对神经元之间的连接权矩阵做出处理,使误差减小。

经反复学习,最终使误差减小到可接受的范围。具体步骤如下:1、从训练集中取出某一样本,把信息输入网络中。2、通过各节点间的连接情况正向逐层处理后,得到神经网络的实际输出。

3、计算网络实际输出与期望输出的误差。4、将误差逐层反向回传至之前各层,并按一定原则将误差信号加载到连接权值上,使整个神经网络的连接权值向误差减小的方向化。

5、対训练集中每一个输入—输出样本对重复以上步骤,直到整个训练样本集的误差减小到符合要求为止。

征求数字图象处理和神经网络的英文文献/有翻译

图像处理用计算机对图像进行分析,以达到所需结果的技术。又称影像处理。基本内容图像处理一般指数字图像处理。

数字图像是指用数字摄像机、扫描仪等设备经过采样和数字化得到的一个大的二维数组,该数组的元素称为像素,其值为一整数,称为灰度值。图像处理技术的主要内容包括图像压缩,增强和复原,匹配、描述和识别3个部分。

图像压缩由数字化得到的一幅图像的数据量十分巨大,一幅典型的数字图像通常由500×500或1000×1000个像素组成。如果是动态图像,是其数据量更大。因此图像压缩对于图像的存储和传输都十分必要。

有两类压缩算法,即不失真的方法和近似的方法。最常用的不失真压缩取空间或时间上相邻像素值的差,再进行编码。游程码就是这类压缩码的例子。

近似压缩算法大都采用图像交换的途径,例如对图像进行快速傅里叶变换或离散的余弦变换。著名的、已作为图像压缩国际标准的JPEG和MPEG均属于近似压缩算法。前者用于静态图像,后者用于动态图像。

它们已由芯片实现。图像增强和复原图像增强的目标是改进图片的质量,例如增加对比度,去掉模糊和噪声,修正几何畸变等;图像复原是在假定已知模糊或噪声的模型时,试图估计原图像的一种技术。

图像增强按所用方法可分成频率域法和空间域法。前者把图像看成一种二维信号,对其进行基于二维傅里叶变换的信号增强。

采用低通滤波(即只让低频信号通过)法,可去掉图中的噪声;采用高通滤波法,则可增强边缘等高频信号,使模糊的图片变得清晰。

具有代表性的空间域算法有局部求平均值法和中值滤波(取局部邻域中的中间像素值)法等,它们可用于去除或减弱噪声。早期的数字图像复原亦来自频率域的概念。

现代采取的是一种代数的方法,即通过解一个大的方程组来复原理想的图片。图像匹配、描述和识别对图像进行比较和配准,通过分制提取图像的特征及相互关系,得到图像符号化的描述,再把它同模型比较,以确定其分类。

图像匹配试图建立两张图片之间的几何对应关系,度量其类似或不同的程度。匹配用于图片之间或图片与地图之间的配准,例如检测不同时间所拍图片之间景物的变化,找出运动物体的轨迹。

从图像中抽取某些有用的度量、数据或信息称为图像分析。

图像分析的基本步骤是把图像分割成一些互不重叠的区域,每一区域是像素的一个连续集,度量它们的性质和关系,最后把得到的图像关系结构和描述景物分类的模型进行比较,以确定其类型。

识别或分类的基础是图像的相似度。一种简单的相似度可用区域特征空间中的距离来定义。另一种基于像素值的相似度量是图像函数的相关性。最后一种定义在关系结构上的相似度称为结构相似度。

以提高图像质量为目的的图像增强和复原对于一些难以得到的图片或者在拍摄条件十分恶劣情况下得到的图片都有广泛的应用。例如从太空中拍摄到的地球或其他星球的照片,用电子显微镜或X光拍摄的生物医疗图片等。