Algorithm 版 (精华区)
发信人: belia (也曾是天使), 信区: Algorithm
标 题: 人工神经网络综述
发信站: 哈工大紫丁香 (2003年07月02日14:18:39 星期三), 站内信件
我没看到图。
——————————————
〔摘要〕
本文使用通谷易懂的语言从物理概念上深入浅出地介绍了人工神经网络的工作原理、特
点及几种典型神经网络，避免出现繁琐的公式及数学推导。希望能通过本文引起广大科
研工作者对人工神经网络的认识和重视。
1 神经元模型的提出
“人工神经网络”(ARTIFICIAL NEURAL NETWORK，简称A.N.N.)是在对人脑组织结构和运
行机智的认识理解基础之上模拟其结构和智能行为的一种工程系统。早在本世纪40年代
初期，心理学家McCulloch、数学家Pitts就提出了人工神经网络的第一个数学模型，从
此开创了神经科学理论的研究时代。其后，F.Rosenblatt、Widrow和Hopf、J.J.Hopfie
ld等学者又先后提出了感知模型，使得人工神经网络技术得以蓬勃发展。
神经系统的基本构造是神经元(神经细胞)，它是处理人体内各部分之间相互信息传递的
基本单元。据神经生物学家研究的结果表明，人的一个大脑一般有1010～10
11个神经元。如图1所示，每个神经元都由一个细胞体，一个连接其他神经元的轴突和
一些向外伸出的其它较短分支——树突组成。轴突的功能是将本神经元的输出信号(兴奋
)传递给别的神经元。其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。树突
的功能是接受来自其它神经元的兴奋。神经元细胞体将接受到的所有信号进行简单地处
理(如：加权求和，即对所有的输入信号都加以考虑且对每个信号的重视程度——体现在
权值上——有所不同)后由轴突输出。神经元的树突与另外的神经元的神经末梢相连的部
分称为突触。
图1 神经元结构图
图2 神经元模型
对应于图1，可以很容易的建立起神经元的模型，如图2所示。大脑之所以能够处理极其
复杂的分析、推理工作，一方面是因为其神经元个数的庞大，另一方面还在于神经元能
够对输入信号进行非线性处理。因此，对图2可进一步建立起更接近于工程的数学模型，
如图3所示，它是一个多输入单输出的非线性器件。其中的权值W即代表神经元之间的连
接强度，f(x)为非线性函数。
图3 神经元的数学模型
2 人工神经网络的工作原理
人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对
手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“
1”，而当输入为“B”时，输出为“0”。所以网络学习的准则应该是：如果网络作出错
误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给
网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，
网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情
况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出
为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然
能作出正确的判断。如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输
入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误
的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网
络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这
两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值
上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说
来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。
3 人工神经网络的特点
人工神经网络是由大量的神经元广泛互连而成的系统，它的这一结构特点决定着人工神
经网络具有高速信息处理的能力。人脑的每个神经元大约有103～104个树突及相应
的突触，一个人的大脑总计约形成1014～1015个突触。用神经网络的术语
来说，即是人脑具有1014～1015个互相连接的存储潜力。虽然每个神经元
的运算功能十分简单，且信号传输速率也较低(大约100次/秒)，但由于各神经元之间的
极度并行互连功能，最终使得一个普通人的大脑在约1秒内就能完成现行计算机至少需要
数10亿次处理步骤才能完成的任务。
人工神经网络的知识存储容量很大。在神经网络中，知识与信息的存储表现为神经元之
间分布式的物理联系。它分散地表示和存储于整个网络内的各神经元及其连线上。每个
神经元及其连线只表示一部分信息，而不是一个完整具体概念。只有通过各神经元的分
布式综合效果才能表达出特定的概念和知识。
由于人工神经网络中神经元个数众多以及整个网络存储信息容量的巨大，使得它具有很
强的不确定性信息处理能力。即使输入信息不完全、不准确或模糊不清，神经网络仍然
能够联想思维存在于记忆中的事物的完整图象。只要输入的模式接近于训练样本，系统
就能给出正确的推理结论。
正是因为人工神经网络的结构特点和其信息存储的分布式特点，使得它相对于其它的判
断识别系统，如：专家系统等，具有另一个显著的优点：健壮性。生物神经网络不会因
为个别神经元的损失而失去对原有模式的记忆。最有力的证明是，当一个人的大脑因意
外事故受轻微损伤之后，并不会失去原有事物的全部记忆。人工神经网络也有类似的情
况。因某些原因，无论是网络的硬件实现还是软件实现中的某个或某些神经元失效，整
个网络仍然能继续工作。
人工神经网络同现行的计算机不同，是一种非线性的处理单元。只有当神经元对所有的
输入信号的综合处理结果超过某一门限值后才输出一个信号。因此神经网络是一种具有
高度非线性的超大规模连续时间动力学系统。它突破了传统的以线性处理为基础的数字
电子计算机的局限，标志着人们智能信息处理能力和模拟人脑智能行为能力的一大飞跃
。
4 几种典型神经网络简介
(1)多层感知网络(误差逆传播神经网络)：在1986年以Rumelhart和McCelland为首的科学
家出版的《Parallel Distributed Processing》一书中，完整地提出了误差逆传播学习
算法，并被广泛接受。多层感知网络是一种具有三层或三层以上的阶层型神经网络。典
型的多层感知网络是三层、前馈的阶层网络，即：输入层I、隐含层(也称中间层)J、输
出层K，如图4。相邻层之间的各神经元实现全连接，即下一层的每一个神经元与上一层
的每个神经元都实现全连接，而且每层各神经元之间无连接。
图4 多层感知网络结构图
学习规则及过程：它以一种有教师示教的方式进行学习。首先由教师对每一种输入模式
设定一个期望输出值。然后对网络输入实际的学习记忆模式，并由输入层经中间层向输
出层传播(称为“模式顺传播”)。实际输出与期望输出的差即是误差。按照误差平方最
小这一规则，由输出层往中间层逐层修正连接权值，此过程称为“误差逆传播”。所以
误差逆传播神经网络也简称BP(Back Propagation)网。随着“模式顺传播”和“误差逆
传播”过程的交替反复进行。网络的实际输出逐渐向各自所对应的期望输出逼近，网络
对输入模式的响应的正确率也不断上升。通过此学习过程，确定下来各层间的连接权值
之后就可以工作了。
由于BP网及误差逆传播算法具有中间隐含层并有相应的学习规则可寻，使得它具有对非
线性模式的识别能力。特别是其数学意义明确、步骤分明的学习算法，更使其具有广泛
的应用前景。目前，在手写字体的识别、语音识别、文本——语言转换、图象识别以及
生物医学信号处理方面已有实际的应用。
但BP网并不是十分的完善，它存在以下一些主要缺陷：学习收敛速度太慢、网络的学习
记忆具有不稳定性，即：当给一个训练好的网提供新的学习记忆模式时，将使已有的连
接权值被打乱，导致已记忆的学习模式的信息的消失。
(2)竞争型(KOHONEN)神经网络：它是基于人的视网膜及大脑皮层对剌激的反应而引出的
。神经生物学的研究结果表明：生物视网膜中，有许多特定的细胞，对特定的图形(输入
模式)比较敏感，并使得大脑皮层中的特定细胞产生大的兴奋，而其相邻的神经细胞的兴
奋程度被抑制。对于某一个输入模式，通过竞争在输出层中只激活一个相应的输出神经
元。许多输入模式，在输出层中将激活许多个神经元，从而形成一个反映输入数据的“
特征图形”。
竞争型神经网络是一种以无教师方式进行网络训练的网络。它通过自身训练，自动对输
入模式进行分类。竞争型神经网络及其学习规则与其它类型的神经网络和学习规则相比
，有其自己的鲜明特点。在网络结构上，它既不象阶层型神经网络那样各层神经元之间
只有单向连接，也不象全连接型网络那样在网络结构上没有明显的层次界限。它一般是
由输入层(模拟视网膜神经元)和竞争层(模拟大脑皮层神经元，也叫输出层)构成的两层
网络。两层之间的各神经元实现双向全连接，而且网络中没有隐含层，如图5。有时竞争
层各神经元之间还存在横向连接。竞争型神经网络的基本思想是网络竞争层各神经元竞
争对输入模式的响应机会，最后仅有一个神经元成为竞争的胜者，并且只将与获胜神经
元有关的各连接权值进行修正，使之朝着更有利于它竞争的方向调整。神经网络工作时
，对于某一输入模式，网络中与该模式最相近的学习输入模式相对应的竞争层神经元将
有最大的输出值，即以竞争层获胜神经元来表示分类结果。这是通过竞争得以实现的，
实际上也就是网络回忆联想的过程。
图5 KOHONEN神经网络结构图
除了竞争的方法外，还有通过抑制手段获取胜利的方法，即网络竞争层各神经元抑制所
有其它神经元对输入模式的响应机会，从而使自己“脱颖而出”，成为获胜神经元。除
此之外还有一种称为侧抑制的方法，即每个神经元只抑制与自己邻近的神经元，而对远
离自己的神经元不抑制。这种方法常常用于图象边缘处理，解决图象边缘的缺陷问题。
竞争型神经网络的缺点和不足：因为它仅以输出层中的单个神经元代表某一类模式。所
以一旦输出层中的某个输出神经元损坏，则导致该神经元所代表的该模式信息全部丢失
。
(3)Hopfield神经网络：1986年美国物理学家J.J.Hopfield陆续发表几篇论文，提出了H
opfield神经网络。他利用非线性动力学系统理论中的能量函数方法研究反馈人工神经网
络的稳定性，并利用此方法建立求解优化计算问题的系统方程式。基本的Hopfield神经
网络是一个由非线性元件构成的全连接型单层反馈系统，如图6。
图6 含有四个神经元的Hopfield网络结构图
图7 Hopfield网络神经元结构图
网络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时又都接
收所有其它神经元传递过来的信息。即：网络中的神经元t时刻的输出状态实际上间接地
与自己的t-1时刻的输出状态有关。所以Hopfield神经网络是一个反馈型的网络。其状态
变化可以用差分方程来表征。反馈型网络的一个重要特点就是它具有稳定状态。当网络
达到稳定状态的时候，也就是它的能量函数达到最小的时候。这里的能量函数不是物理
意义上的能量函数，而是在表达形式上与物理意义上的能量概念一致，表征网络状态的
变化趋势，并可以依据Hopfield工作运行规则不断进行状态变化，最终能够达到的某个
极小值的目标函数。网络收敛就是指能量函数达到极小值。如果把一个最优化问题的目
标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么Hopfield神经网
络就能够用于解决优化组合问题。
Hopfield工作时其各个神经元的连接权值是固定的，更新的只是神经元的输出状态。Ho
pfield神经网络的运行规则为：首先从网络中随机选取一个神经元ui，按照公式(1)进
行加权求和，再按公式(2)计算ui的第t+1时刻的输出值。除ui以外的所有神经元的
输出值保持不变，返回至第一步，直至网络进入稳定状态。
对于同样结构的网络，当网络参数(指连接权值和阀值)有所变化时，网络能量函数的极
小点(称为网络的稳定平衡点)的个数和极小值的大小也将变化。因此，可以把所需记忆
的模式设计成某个确定网络状态的一个稳定平衡点。若网络有M个平衡点，则可以记忆M
个记忆模式。
当网络从与记忆模式较靠近的某个初始状态(相当于发生了某些变形或含有某些噪声的记
忆模式，也即：只提供了某个模式的部分信息)出发后，网络按Hopfield工作运行规则进
行状态更新，最后网络的状态将稳定在能量函数的极小点。这样就完成了由部分信息的
联想过程。
Hopfield神经网络的能量函数是朝着梯度减小的方向变化，但它仍然存在一个问题，那
就是一旦能量函数陷入到局部极小值，它将不能自动跳出局部极小点，到达全局最小点
，因而无法求得网络最优解。这可以通过模拟退火算法或遗传算法得以解决，在此不再
一一介绍。
5 结束语
神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。迄今为止，在人工
神经网络研究领域中，有代表性的网络模型已达数十种，而学习算法的类型更难以统计
其数量。神经网络研究热潮的兴起是本世纪末人类科学技术发展全面飞跃的一个组成部
分。它与多种科学领域的发展密切相关，纵观当代新兴科学技术的发展历史，人类在征
服宇宙空间、基本粒子、生命起源等科学领域的进程之中历经了崎岖不平之路。我们也
会看到，探索人脑功能和神经网络的研究将伴随着重重困难的克服而日新月异。
--
昨日已成废墟，只留下还在旷野里坚持的记忆
我闭目试想：总还能剩下一些什么吧！
即使领土与旗帜都已被剥夺，盔甲散落，我，总还能剩下一些他们无从占领的吧
诸如自尊、决心以及
那终于被判定是荒谬与绝望的理想
※ 来源:·哈工大紫丁香 bbs.hit.edu.cn·[FROM: 218.9.121.205]
Powered by KBS BBS 2.0 (http://dev.kcn.cn)
页面执行时间：3.087毫秒