发信人: whynot (精诚所至，金石为开), 信区: Control
标 题: [转载] BP算法的改进1--动量项：
发信站: 紫 丁 香 (Sun Sep 19 21:41:20 1999), 转信
【 以下文字转载自 Electronics 讨论区 】
【 原文由 whynot 所发表 】
BP算法的改进1--动量项：
虽然误差反传的BP学习算法是一个较为简单且实用的学习算法，但在实用中，标准的
BP算法通常学习收敛的速度较慢，而且很容易陷入局部最小[2]，为此，人们提出了不少
的改进方案。下面，我们将给出其中较为有效的几种。
为了提高收敛速度，最简单的方法是加动量项。算法中的学习步长h很重要，h大收敛
就快，但过大则会引起系统的不稳定（振荡）；h小系统可以稳定，但收敛速度会很慢。
解决这个矛盾最简单的方法就是加动量项，即：
0<a<1
式中第二项是标准BP算法的修正项，第一项是动量项，a为某个正数，动量项的作用简单
分析如下：
当顺序加入训练样时，上式可以写成以t为变量的连续形式，t从0到n，因此上式可看
作是Δω的一阶差分方程，对Δω求解可得：
当本次与前一次同号时，其加权求和的值增大，使Δω变大，结果加快
了ω的调节速度。 当与前一次符号相反时说明有一定的震荡，此时指数
加权求和的结果使Δω减少，起到稳定的作用。使用该方案可以使收敛速度大大加快，
有时甚至可以使训练次数减少到标准BP算法的十分之一。但该方案并没有避免局部最小
点。下面我们将给出在此基础上的进一步的改进。
--
-----------------------------------------------
因一个词的力量
我重新开始生活
我生来就认识你
要把你称作
自由
※ 来源:·饮水思源站 bbs.sjtu.edu.cn·[FROM: 202.120.8.3]
--
☆ 来源:．哈工大紫丁香 bbs.hit.edu.cn．[FROM: whynot.bbs@bbs.sjtu.]
--
※ 转载:．紫 丁 香 bbs.hit.edu.cn．[FROM: 202.118.235.243]