Algorithm 版 (精华区)

发信人: zjliu (fly), 信区: Algorithm
标  题: （转载）《社会科学非线性方法论》
发信站: 哈工大紫丁香 (Sun May 19 22:27:06 2002) , 转信

            《社会科学非线性方法论》


                            张本祥 孙博文著



　
　

１.５     适应性与神经网络



    适应性，通常指有一定的向环境学习的功能。[25]复杂的自适应系统具有通常动力
学系统所熟悉的性质，包括分层结构，多个吸引盆以及许多亚稳态图形之间的竞争，除
此而外，它们还必须有一种能应付并利用环境变化的能力。一种自适应系统的研究方法
是构造一个明显的时间层次：一个时间尺度描述真实动力学，另一个较慢的时间尺度考
虑非线性方程本身的变化。

    近年来，研究适应性系统的热点，主要在神经网络(neural network)，神经网络系
统可能是我们所面临的高度复杂的非线性动力学系统，也是迄今所知功能最强、效率最
高的最完善的信息处理系统，因此，很自然地成为非线性科学研究的重要内容。[26]



 １.５.１     神经网络系统理论的历史



    早在1943年心理学家W.McCulloch和数学家W.Pitts合作提出神经元的二值逻辑模型
，从此开创了从信息论角度出发研究脑和人工智能的时代，计算机的研制成功，控制论
和信息论相继创立，促进了人工智能的研究，但是，当时的电子技术尚处于电子管阶段
，元器件和制造工艺还不能为人工智能的研究提供良好的实验条件。此外，与大脑信息
加工、人工智能有关的基础理论研究还处于准备阶段。非线性电路仅仅是极少数科学家
偶尔涉猎的对象，二值逻辑模型已经称得上是对线性科学思维方式的大胆突破。1949年D
.Hebb提出了改变神经元联结强度的学习规则，这一规则至今仍在各种网络模型中起着重
要作用。1962年F.Rosenblatt提出感知机模型，已经具备了并行处理、分布式存贮、连
续计算和可学习性等功能，与当时流行的占主导地位的串行离散的以符号推理为基础的
人工智能技术和冯·诺依曼电子计算机完全不同，吸引了许多研究者的兴趣，掀起了神
经网络研究的第一次热潮。

    1982年美国物理学家霍普非尔德(T.Hopfield)提出了一种全新的神经网络模型，它
体现了D.Marr的计算神经理论、耗散结构和混沌理论的基本精神，使网络的稳定性有了
严格的判据，模型具有联想记忆、分类与误差自校正等智能，两年以后研制出模型硬件
电路，成功地求解了数学中著名的“旅行推销员问题”，这是一项突破性的进展。与此
同时，在神经网络的硬件实现方面，大规模集成电路做成的神经芯片已经包含几百个神
经元，各种神经网络仿真器也大量涌现。神经科学、脑科学、思维科学、计算机科学、
行为科学的研究成果奠定了神经网络研究的基础，非线性科学的发展，为霍普非尔德模
型的动力学特性的分析提供了有力的研究方法。以美国为发端，掀起了神经网络研究的
新热潮。[27]

    虽然有不少人对当前似乎过高的热情存在疑虑，但最悲观的估计仍然认为这一领域
的发展会带来重大的科学研究成果和应用前景；而最为乐观的估计则称之为一种新主义
──联结主义，一种能解决诸如知识表达、推理学习、联想记忆乃至复杂的社会现象（
如混沌)、社会演变等复杂系统的统一模型，它将预示着一个新的工业。[28]



１.５.２      生物神经元模型



    神经元是脑组织的基本单元，人脑是由大约1011个神经元组成。

    从生物控制与信息处理的角度看，神经元具有如下结构特性：

    (1)细胞体：由细胞核、细胞质与细胞膜等组成。

    (2)轴突：由细胞体向外伸出的最长的一条分支,称为轴突，即神经纤维。轴突相当
于细胞的输出电缆，其端部的许多神经末梢为信号输出端子，用于传出神经冲动。

    (3)树突：由细胞体向外伸出的其它许多较短的分支，称为树突。它相当于细胞的输
入端，接受来自四面八方的传入神经冲动。

    (4)突触：细胞与细胞之间(即神经元之间)通过轴突(输出)与树突(输入)相互联结，
其接口称为突触，即神经末梢与树突相接触的交界面，每个细胞约有103-104个突触。突
触有两种类型：即兴奋型与抑制型。

    (5)结构可塑性：由于突触的信息传递特性是可变的，随着神经冲动传递方式的变化
，其传递作用可增强或减弱，所以，细胞之间的联结是柔性的，故称为结构可塑性。



１.５.３    神经网络模型



    神经网络模型是由大量处理单元(神经元、处理元件、电子元件、光电元件等)广泛
互连而成的网络。它反映了人脑功能的基本特性，但并不是人脑的真实描写。网络的信
息处理由神经元之间的相互作用来实现；知识与信息存贮表现为网络元件互连间分布式
的物理联系；网络的学习和识别决定于各种神经元连接权系的动态演化过程。

    神经网络是一个具有高度非线性的超大规模连续时间动力系统，其最主要特征为连
续时间非线性动力学、网络的全局作用、大规模并行分布处理及高度的鲁棒性和学习联
想能力。同时它又具有一般非线性动力系统的共性，即不可预测性、耗散性、不可逆性
、高维性、广泛联结性与自适应性等。因此它实际上是一个超大规模非线性连续时间自
适应信息处理系统。

    根据人工神经网络对生物神经系统的不同组织层次和抽象层次的模拟，神经网络模
型可分为：

    (1)神经元层次模型：研究工作主要集中在单个神经元的动态特性和自适应特性，探
索神经元对输入信息有选择的响应和某些基本存贮功能的机理。

    (2)组合式模型：它由数种相互补充、相互协作的神经元组成，用于完成某些特定的
任务，如模式识别、机器人控制等。

    (3)网络层次模型：它是由许许多多相同神经元相互连接成的网络，从整体上研究网
络的集体特性。

    (4)神经系统层次模型：一般由多个不同性质的神经网络构成，以模拟生物神经的更
复杂或更抽象的性质，如自动识别、概念形成、全局稳定控制等。

    (5)智能型模型：这是最抽象的层次，多以语言形式模拟人脑信息处理的运行、过程
、算法和策略。这些模型试图模拟如感知、思维、问题求解等基本过程。



１.５.４      神经网络的信息处理能力



    神经网络的信息处理能力包括：网络的信息存贮能力和网络的计算能力。它们对应
如下问题：

    (1)在一个有Ｎ个神经元的神经网络中，可存贮多少个位的信息？

    (2)神经网络具有什么样的计算能力？

    这两个问题构成了神经网络理论的两个最基本的问题。

    在人工神经网络系统中，信息的存贮与处理是合二为一的，即信息的存贮体现在神
经元互连的分布上，并以大规模并行分布方式处理。这种并行处理决不是简单地以“空
间复杂性代替时间复杂性”，而是反映了完全不同的“计算”原理。从数学观点看，可
以把神经网络看做是由大量子系统组成的大系统，系统的最终行为完全由它的吸引子决
定，如果视动力系统的稳定吸引子为记忆的话 ，那么从初态向吸引子流动的过程就是寻
找记忆的过程。初态可以认为是给定有关记忆的部分信息。换言之，流动的过程就是从
部分信息找出全部信息的过程，这就是联想记忆的基本原理。进一步，若视动力系统的
稳定吸引子为系统计算能量函数的极小点，系统最终会流向期望的最小点，“计算”也
就在运动过程中悄悄地完成了。运动的时间就是计算时间，这就是神经网络计算机的基
本原理。

    神经网络系统与现代数字计算机相比有如下不同的特点：

    (1)以大规模模拟并行处理为主，而现代数字计算机只是串行离散符号处理。

    (2)具有很强的鲁棒性和容错性，关于联想、概括、类比和推广，任何局部的损伤不
会影响整体结果。

    (3)具有很强的自学习能力。系统可在学习过程中不断完善自己，具有创新特点，这
不同于ＡI中的专家系统，后者只是专家经验的知识库，并不能创新和发展。

    (4)它是一个大规模自适应非线性动力系统，具有集体运算的能力，这与本质上是线
性系统的现代数字计算机迥然不同。

    从广义角度讲，微积分、文字翻译、推理等都是一计算过程，而从数学观点看，计
算就是在满足一定公理、定理的条件下，从一空间到另一空间的代数映射；从物理观点
看，计算是按照一定的自然规则，在某种“硬件”上所发生的一些物理规则。因此，计
算可表示为一动力系统中的状态间变换的轨迹。 神经网络的计算就是其中状态的转换，
其计算过程可以认为是状态的转换过程，对给定的输入，其计算结果即是系统的稳定状
态。



１.５.５      神经网络的互连结构形态及分类



    根据连接方式的不同，神经网络可分成以下几种类型：

    (1)不含反馈的前向网络。神经元分层排列，组成输入层、隐层和输出层。每一层的
神经元只接受前一层神经元的输入。输入模式经过各层的顺次变换后，得到输出层输出
。

    (2)从输出层到输入层有反馈的前行网络。它可用来存贮某种模式序列。

    (3)层内有相互结合的前向网络。通过层内神经元间的相互结合，可以实现同一层内
神经元之间的横向抑制或兴奋机制，这样可以限制每层内能同时动作的神经元数，或者
把每层内的神经元分为若干组，让每组作为一个整体来动作。

    (4)相互结合型网络。这种网络是在任意两个神经元之间都可能有连接。在无反馈的
前向网络中，信号一旦通过某个神经元，过程就结束了，而在相互结合网络中，信号要
在神经元之间反复往返传递，网络处在一种不断改变状态的动态过程之中。从某初态开
始，经过若干次的变化，才会到达某种平衡状态，根据网络的结构和神经元的特性，还
有可能进入周期振荡或其它如混沌等状态。[29]

    神经网络系统作为非线性科学研究的重要内容，已经取得了可喜的进展，但是，它
只是建立脑模型的第一步，就人类的科学认识活动而言，对大脑的研究无疑是一种挑战
，它正越来越强烈地吸引着许多不同领域的科学家参与到脑研究的队伍之中。虽然对大
脑的结构近几十年来在细胞和分子水平上已经进行了大量的研究，发现了许多新的现象
，但我们仍然未能了解神经系统是怎样使人具有听和看、学习和记忆、甚至推理和语言
等高级脑功能的，要取得这方面的科学认识，远比把人送上月球困难得多。人类探索大
脑的功能结构、思维与信息加工的本质的工作从未间断过，伴随着每次科学技术的进步
和探测手段的改进，这种愿望就更加强烈。现在，非线性科学的创新的观念和方法，有
可能开辟一条崭新的途径，对揭开大脑之谜做出应有的贡献。[30]




--

※ 来源:．哈工大紫丁香 http://bbs.hit.edu.cn [FROM: 202.118.229.86]