Algorithm 版 (精华区)

发信人: AA (积极的人生、美好的人生), 信区: Algorithm
标  题: 基于级连分组BP神经网络的高精度手写体数字识别系统
发信站: 哈工大紫丁香 (2002年05月23日19:31:10 星期四), 站内信件


基于级连分组BP神经网络的高精度手写体数字识别系统
【摘要】本文提出了一种基于级连分组网的手写数字识别的新方法。这种方法根据将每
次分类任务简单化的思想，将每个网络的任务简化以提高其辨别能力。整个系统分为两
级，第一级进行粗分类，选取前两个后选字。第二级对两个后选字进行细分类。每个细
分类网络完成区分两类特定模式的任务，由于每个子网络分类数目的减少导致识别精度
的提高。
使用我们自己构造的含10万个字符的库进行测试，我们的系统达到了在拒识为5%以内时
误识为0.067%。
【关键字】  级连分组网络、神经网络、手写体数字识别
1. 前言
本文的目的在于提供一种任务将分割简化以进行高精度识别的思想。
在我们以前的工作中，主要应用单个神经网络进行进行10个数字的识别任务。我们越来
越觉得，仅仅使用单个网络进行识别，很难达到很高的精度，并且也很难使现有的精度
大幅度提高。于是我们寻求其他途径。
本文提出了一种基于级连分组网的手写数字识别的新方法。这种方法分割每次分类任务
，将每个网络的任务简化以提高其辨别能力。整个系统分为两级，共包含29个网络。第
一级进行粗分类，挑选出两个后选字。然后通过扩大拒识将第一级的结果分流到两个出
口：其一为可判决出口，其二为拒识出口。被拒识的模式进行第二级的细分类。每个细
分类子网络完成区分两类特定模式的任务，由于每个子网络分类数目的减少从而使识别
精度得以提高。
使用我们自己构造的含10万个字符的样本库进行测试，我们的系统达到了在拒识为5%之
内误识为0.067%   。
本文共包含6部分：前言，预处理，特征抽取，识别和训练，测试结果，需要进一步研究
的问题。
2. 预处理
预处理包括二值化、去噪声、规整三部分。
2.1二值化
针对数字图象较为简单、背景和图象有较明显的区别的特点，本文采用了最大方差设定
法进行二值化[1]，这样既考虑速度又兼顾二值化的效果。
2.2平滑去噪
扫描来的数字由于各种原因存在着或大或小的噪声（毛刺、断笔等），因此我们采用如
下算法来补断、去噪。
（a）断笔补偿采用[2]的方法。注意[2]中滤波模板的选取要在实验中测试出最佳的组合
，[2]中介绍的几种模板的完全组合有时并不一定奏效。该系统选取的是水平和两个对角
线的组合。舍弃垂直模板是因为该模板会造成误补（对我们的测试库而言）。补断效果
如下图例。
（b）用8*8的滤波窗口去除较大的孤立噪声。该窗口的中心点有36个，周边有28个，当
周边28个像素点之和为0而中心36个点之和小于30时，认为该窗口内的点为噪声。
（c）用3*3 的窗口平滑毛刺和噪声。如下图
图2.2
其中，如果点1为0，2、3、4中至少有2个为1，则1被视为一个空洞，应变为1 图（b）。
如果1不为0，而2、3、4、5至少有3个为0，则点1被视毛刺，将被去掉。
（本文中1为前景色，0为背景。）
2.3规整。
为了克服每个数字手写的大小和在框内相对位置的不同所造成的影响，我们对分割后的
点阵数据用曲面插入法进行线性规整，使之成为32*32点阵的数据格式，为后续的特征提
取所用。
3．特征抽取
特征提取是一项极为重要的工作，所选特征是否具有代表性对识别结果好坏具有直接决
定作用。特征选择一般具有以下原则：完备性原则，所抽取的特征要能充分反映模式的
信息量；正交性原则，即特征之间的相关性越小越好。本文采用的特征有如下几类：数
字轮廓特征、数字笔画特征、重量分布特征和离散付氏变换特征[3]。
4． 识别和训练
4.1识别器体系结构的讨论
系统中的各个子网络全部是BP网络。
如下是系统采用的级连分组网络的模型。
图4.4.1是系统的识别器的体系结构。识别器由两级网络构成。第一级为粗分类级，第二
级是细分类级。粗分类级的任务有两个，对于网络可以明确判别的输出（通过比较网络
的前两个后选字的方法进行判断，详见测试报告）不需进一步处理，直接得到结果；否
则，则通过前两个后选字选通细处理级的与此两个字组成的数字对相对应的子网络。细
分类级的任务是将前一级输送来的数字对用相应的子网络以更加高的精度区分开来。
个数字，取前两个数字进行处理，应有10*9/2=45种组合，为何该系统选用27个子网络呢
？这是实验得出的结果。经过大量的统计（针对我们自己的库），我们发现，在一定的
指标下，仅需取45种组合中的一部分即可。我们精心选择了27种，之所以选择27种，原
因之一是这27种出现的概率较大，原因之二是选择这27种按照估计的误识率计算能够达
到我们的指标。对于我们的库，统计后的结果用统计图定性描述如上图。图中横坐标是
45个数字对的组合，纵坐标是各数字对出现的频度值（注：频度是按如下方法计算的，
对某一特定模式，比如“1”的测试库，输入到第一级网络，得到的输出满足拒识条件的
共有n个，在这n个中进行统计，因为只有满足拒识条件才会被进一步处理，假如（1，7
）共有m个，则其频度为m/n,将各个模式都这样统计后，相同的序队对应的值相加排序，
即可绘出下图）。
4.2训练算法的讨论。BP网络模型，从结构上讲是一种层次性、多结点结构；从算法上讲
是最优化理论的梯度下降法，这是一种有教师指导的训练。所以，BP网络在实际学习中
，必须考虑两个基本问题：一是网络的规模；二是网络的学习。前者主要考虑网络的最
优结构，特别是隐层单元的数目；后者主要关心网络权值的收敛性。本文运用了若干改
进BP网络训练速度的方法和措施。
（1） 改进S型函数的输出范围，减少训练时间。本文中的BP网络模型各层结点的激活函
数，全采用sinmoid函数.从权值调节公式⊿W=ηδ（j,k）y(j,k)可知，⊿W正比于y(j,
k)，因此当网络输出趋向于0时，必然引起调节量的减小或不调节，出现滞调现象，从而
加长了训练时间，为了解决这一问题，我们使用如下S型函数：
if (x>=Φ1)     f(x)=0.9;
if (x<=Φ2)     f(x)=0.1;
if (Φ2<x<Φ1)  f(x)=1/(1+exp(-x));
其中，Φ1，Φ2为上下阈值，Φ1=ln(9.0), Φ2=ln(1/9).同时，我们选用0.9,0.1作为
网络输出的期望高低电平。
（2） 特征加权思想。实验中发现，在107维特征中，特征性质不同，使得不同的特征取
值在数量级上差异很大，有的达到100数量级，有的在1/10上。这样的输入，大值会淹没
小值，导致在网络训练时，出现震荡，不收敛的情况。为此，我们对特征向量加权，使
各特征分量都在同一数量级上，这样就充分利用了各个特征分量的信息，大大减少了网
络的训练时间和次数。
（3） 批训练代替单个样本训练，克服网络的遗忘现象。实验中，我们采用了成批训练
的方法，即一次读入0-9十个数字样本特征向量，输入到网络中，然后取他们在网络输出
端的实际输出值与期望值之间的差的平均值，作为调整权值的目标函数。采用这种训练
方法，网络学习一组十个样本后，调整一次权值。实验表明，成批训练法与单个样本训
练方法网络收敛情况比较，因为克服了网络遗忘的现象，而加快了学习速度。
4.3  识别。识别过程充分利用两级网络的信息以及他们的交互信息。流程如下：
图4.3识别流程
5．测试结果
我们从邮局采集了10万个左右的样本（约一万封信函，包括白纸和牛皮纸，并兼顾各种
可能的书写工具和不同文化层次的书写者），建成了一个样本库，其中3万用于训练，7
万用于测试。
29个网络总共的训练时间不超过8个小时，大大缩短了训练时间。
测试结果如下：
表5-1是系统对训练集和测试集达到的性能指标:
训练集
测试集
样本数目
30000
70026
拒识率
3.273%
     4.7825%
误识率
0.0%
      5.9978/万
表5.1
 表5-2 进一步给出了系统对训练集和测试集中每类模式样本拒识和误识的指标:
样 本
训 练 集
测 试 集
总数目
拒识数
拒识率
误识数
总数目
拒识数
拒识率
误识数
误识率
而仅用第一级网络的情况下，在拒识为10.23%时的误识为0.99%  。
可见，级连分组网络同单个BP网络模型相比，系统识别性能的改善是非常明显的。因为
他把10类模式的分类问题转换为两模式的分类问题，由原来一个网络完成的任务转化为
27个网络来分别完成，从理论上讲，它大大降低了每个网络所面临的函数逼近的复杂性
，从而使系统的识别结果得到了大大的改进。
但是，他也有缺点，29个网络训练需要花费大量时间，并且对空间也有较高的要求。本
文中采用了批训练的方法解决了第一个弱点。
6.需要进一步研究的问题
1．其他网络体系结构的识别效果。从不同的角度对识别任务进行分割简化，比较他们的
效果。
2，规整算法使得字符的失真较大，如何对字符进行平滑的规整也是我们今后将要进一步
研究的课题。
参考文献
[1] 盛立东、师春礼：邮政编码自动识别系统的研制，中文信息学报，Vol9,No3,1995,
pp 43-57
[2]Cheng and Yan "Recognition of Broken and Noisy Handwritten Characters Usi
ng Statistical Methods Based On a Broken-character-mending Algorithm".Opt.En
g.36(5) 1645-1479(May 1997)
[3]Wang Minhui,et al,"Handwritten Numeral Classification Using Cassscaded Ne
ural Networks",Proceedings of International Conference on Neural Information
 Processing(ICONIP'95),Vol.2,pp943-946,Bejing ,1995.
  
--
                人世间的事谁也无法掌握
                  该执著的  永不怨悔
                  改舍去的  不在牵挂
                  改珍惜的  好好把握

※ 来源:·哈工大紫丁香 bbs.hit.edu.cn·[FROM: NLPCenter.hit.edu.cn]