Control 版 (精华区)

发信人: whynot (精诚所至，金石为开), 信区: Control
标  题: [转载] BP算法的改进2---非单调学习算法
发信站: 紫 丁 香 (Sun Sep 19 21:41:26 1999), 转信

【 以下文字转载自 Electronics 讨论区 】
【 原文由 whynot 所发表 】
BP算法的改进2---非单调学习算法：
  我们利用非单调线性搜索理论，引入一个自适应地调整学习步长的方法，应许训练误
差函数在保持总体下降的趋势下，函数值按一定的原则有时可以有所上升。该算法不仅
可以提高BP网络的学习速度，在一定的情况下具有使学习过程逃离局部最小点的能力。

  该算法的基本过程如下：
记E(W)为一多层学习网络的总体学习误差函数，即：
其中，W为网络的权值向量， O为输出层的第i个节点对应与第p个训练样本的实际输出，
而y为相应的期望输出。
  预先给定一正整数M。假设在第k次迭代时，权值向量W(k),学习步长为η(k)，如果E(
W(k))<e，则停止学习，W(k)为近似解；否则，计算
其中
a为动量项的系数，而r(k)由下式确定：
现在，我们来确定下一轮迭代的权值向量与学习步长：
记
其中DPk是E(W')-E(W(k))的一阶泰勒展开的近似，因此可以看作是一种局部下降程度的
估计量。下面记：
b的大小反映了误差函数E(W)总体下降程度的相对趋势，该算法主要过程是根据b的符号
和大小来决定下一轮迭代的权值向量与学习步长，分两种情况来讨论：
  第一种情况：b(k)>0
此时，误差函数E(W)从W(k-m(k))开始经过m(k)+1次迭代后总体趋势是下降的（尽管E(W
')有可能大于E(W(k))，可见步长h(k）满足非单调线性搜索条件。因此，置
 下面，根据预估理论来确定学习步长：
  取c1、c2,满足不等式0<c1<c2<1,其中c1 接近0，c2接近1，置
  第二种情况：b(k)>0
这说明误差函数E(W)从W(k-m(k))开始经过m(k)+1次迭代后总体上没有呈下降趋势。因此
，需要保持当前的权值向量不变并大幅度的缩小步长，然后重新进行搜索，也即置

--
-----------------------------------------------
                 因一个词的力量
                 我重新开始生活
                 我生来就认识你
                 要把你称作
                           自由

※ 来源:·饮水思源站 bbs.sjtu.edu.cn·[FROM: 202.120.8.3]

--
☆ 来源:．哈工大紫丁香 bbs.hit.edu.cn．[FROM: whynot.bbs@bbs.sjtu.]
--
※ 转载:．紫 丁 香 bbs.hit.edu.cn．[FROM: 202.118.235.243]