Control 版 (精华区)
发信人: whynot (精诚所致,金石为开�), 信区: Control
标 题: 脑的时-空编码理论[转载]
发信站: 紫 丁 香 (Sat Sep 11 08:50:54 1999), 转信
【 以下文字转载自 Computer 讨论区 】
【 原文由 champaign 所发表 】
发信人: barry2 (大狗), 信区: AI
标 题: 脑的时-空编码理论（摘自开题报告）
发信站: BBS 水木清华站 (Sun May 3 11:17:59 1998)
脑的时-空编码理论的发展
一、传统人工神经网络的发展
人脑的工作过程始终是人们渴望了解的秘密，长期以来神经生物学家以自下而上的方
法从单个神经细胞到神经网络的刺激响应进行研究，而神经网络生理学家则以自上而下的
途径研究脑的认知行为功能。经过努力逐渐对脑的部分功能有了一定的认识，并不断提出
了一系列的设想和见解，它们激发了工程设计人员期望获得至今的计算机仍然很难解决而
人和动物处理得很好的一类问题的解决。科学家开始建立各种工程的和数学的神经元和神
经网络模型，并且深入地进行了研究。1940年McCulloch和Pitts首先提出了简单阈值逻辑
单元的神经元模型，1960年前后Rosenblatt的感知器，Vidrow和Hoff的Adaline和
Steinbuch的学习矩阵等都相继提出并引起了工程学术界的很大兴趣，特别是感知器模型由
于它简单而易于实现更引起了人们的注意。然而由于Minsky和pupert证明了感知器不能实
现复杂逻辑判断功能，使得神经网络的研究一度趋于低落。
1982年Hopfeild关于神经网络集成计算能力文章的发表，以及早些时候Grossberg及
Carpenter在神经网络自适应共振，Kohonen在神经网络自组织映照和Rumelhart在多层感知
器网络及反馈传输算法方面的研究成果促使人工神经网络的研究再次兴起了热潮。通过几
年学术界和工程界的广泛深入的研究控索，人工神经网络的非线性映照，学习分类和实时
优化等基本特征已成为一种重要的信息处理方法普遍用于各种工程和学科的研究领域。
二、传统人工神经网络的局限性
1. 传统神经网络的理论基础------平均发放率编码
人工神经网络的产生和发展是建立在人脑研究的基础之上的，而对脑的工作原理的理
解的关键之一是揭示知识和外界事物在脑内是如何被编码、表达和加工的。传统观点一直
认为神经元的平均放电速率是脑中信息的载体，脑皮层的神经元的功能是作为整合放电元
件。因而至今几乎所有的人工神经网络模型都是从假设发放速率是输入信号求和后的S型
函数开始的。
神经元的平均发放率是指在一个生理级时间窗口内（100-200ms），对神经元的发放
活动进行平均所得到的数值，是神经元发放脉冲的一阶统计量，而在这100ms内脉冲的精
细时间结构则被忽略掉了。平均发放率理论也是有生物实验基础的，在运动神经元中已被
证实。
经典的发放率编码观点可以由B.Barlow和D.O.Hebb的理论来进行概括。Barlow的观
点是“主教细胞”假说，也就是单个细胞的发放率被用来编码信息；而Hebb则认为是许多
发放率同时升高的细胞所形成的细胞群是表达信息的基本单位，他的分布式表达思想长期
在神经网络理论基础中发挥重要作用。
Barlow认为，如果某一给定神经元发放率增高，则说明外部世界对它有某种确定的刺
激，即该神经元的最优刺激。他的观点可以由两点描述：1.某个发放率增高的神经元所在
的位置反映刺激的类型；2.该神经元发放率增高的程度反映外界刺激的强弱。这就是所谓
“位置”编码，每一个位置的神经元代表一个功能，而且类似功能的单元位置相近，即功
能连续性。这一观点已为大量生物实验所证实，如初级视觉皮层不同位置上存在的特定功
能细胞群（感受野、方向柱、眼优势柱）。该理论直接扩展到高级认知功能就是“老祖母
细胞假设”，即在脑内有专门识别祖母面孔的神经元。有报道说在脑的AIT和STP记录到
一些对重要的生物特征（如对人的面孔、手形等）具有选择性的细胞。Tanaka也提出了肖
像字母的假设，认为IT区存在一族唯一的“肖像字母”细胞，每个细胞都能对它唯一敏感
的“肖像字母”给出最大发放率，而任何物体都可以分解成唯一的“肖像字母”集合。
在Barlow和Tanaka的观点中包含“位置编码”概念，也就是处于不同位置（如皮层内
某个位置）的单个细胞代表着唯一的不同的刺激模式。与位置编码相对的是“模式编码”
即由一群细胞的时空发放模式来反映刺激的类型，注意，这里的时空发放模式也是建立在
平均发放率的基础上的。Hebb的细胞群理论是比较经典的模式编码，他认为细胞群是脑的
信息表达基本单位，在一个生理时间内同时有高的发放率的细胞为一个细胞群。这些细胞
群的形成是通过标准的“Hebb突触”学习律来实现的，也就是突触前和后的神经元若同时
同步发放，则突触强度会增强，其它情况则会减弱。和Barlow的“主教细胞”假说不同，
这里不是由一个细胞来代表一种刺激类型，功能连续性也不再是前提，因为一个细胞可能
在不同时刻参与不同的功能细胞群。
2. 平均发放率编码的缺点
随着人工神经网络的发展，一些问题逐渐暴露出来，而这些问题多来源于作为其基础
的“平均发放率”编码。
“主教细胞”假设所存在的关键问题是
(1) 组合爆炸。由于它假设目标特征的所有组合情况都由一个细胞来代表，而这种组
合会是个天文数字，这种方法所带来的问题比它所解决的问题还要多，比如说记
忆管理问题，对主教细胞的建立和删除工作。
(2) 信息的集成问题。“主教细胞”假设的逻辑结论是存在最终的主神经元----大主
教细胞，用于集成所有并行通道来的各部分信息，以形成对外界刺激的完整表示
然而目前没有任何生物实验支持这种结论。大脑信息管理更象计算机Internet网
络，而不是一个绝对的“君主国”。
细胞群假设则存在另一类困难，区分一个细胞群是根据在生理时间窗口内它们的平均
发放率同时增高，这不可避地会导致一些问题。
(1) 重叠灾难。假设A由一个子群表示，B由另一个子群表示，如果在某一时刻，A、
B两种刺激同时到来，则不可能区分这两个子群，因为它们的平均发放率同时增
高。解决办法只有两种，一是通过硬件连接，每个子群内的细胞都和更高层的祖
母细胞（祖母细胞群）相连，由不同的祖母细胞来进行区分；二是通过选择注意
力。
(2) 难以表达“等级结构”，也就是没有句法结构，表达不了上下文关系。细胞群没
有内部结构，解决的方法只有使用“硬件等级”，所以无论如何，大脑要采用硬
件表达，即知识等级表达必须映射到大脑的硬件连接上，这是细胞群理论最致命
的困难。
(3) 因为不同并行通道来的子信息必须集成，这就带来了特征捆绑问题。比如颜色和
形状信息的捆绑，假设红、绿、方、圆四个特征由不同的细胞子群来代表，因为
是分布编码，所以不需任何一个主教细胞是“红圆”细胞，当“红圆”物体和
“绿方”物体分别出现时，可以很好的区分。然而，一个严重的问题是，当两种
物体同时出现时，由于四个子群的细胞发放率同时增高，则无法把这个超集区分
成红、绿、方、圆四个特征的正确组合，也就是不能把相应的信息捆绑在一起。
发放率编码的这些无法克服的缺点，使建立在其上的传统人工神经网络研究遇到了很
大的困难，神经网络的应用范围受到了很大的限制，没有根本的观念转变，进一步发展很
困难。另外，由于神经生理学的发展，一些新的生物生理现象被发现，为变革奠定了基础
。就是在这种背景下，脑的时空编码理论发展起来了。
二、脑的时空编码理论的产生和发展
1. 脑功能相关理论的提出
1981年，Von der Malsburg发表了“脑功能的‘相关’理论”一文，首次提出了相关
编码理论。其核心是从编码的概念出发，提出在快时间尺度（2-5ms）上神经相互作用的
时间调制的必要性。Malsburg假定存在生理的“快”突触，其尺度可以在心理学尺度上
（100ms）调制。F.Crick把它称作“Malsburg突触”。
两个神经元所发放的脉冲串在精细时间结构（2-5ms）上，可采用“相关”的方法来
进行同步与非同步的衡量，这是相关理论与传统发放率理论的本质区别，神经元活动已不
再是只在生理时间级尺度上（100-200ms）了。
时间相关性是依赖于动态联结来实现：同步化单元的兴奋性联结强化，而非同步化的
兴奋性联结削弱，同一信息源或同一目标源所激励的联结相互促进同步化，而不相关的两
个活动目标间，即使它们同时处于活动状态，也不会发展相互间的突触。Malsburg突触的
“快”特性，使得神经元间的联接可以跟得上同步状态的变化，快突触的变化使同步得到
增强并保持。另外，还有慢突触变化进行记忆。
Malsburg的理论可以解决句法问题。
2. 同步振荡理论的发展及存在问题
但是，Malsburg的相关理论，曾苦于没有神经生物学的证据，甚至于连Malsburg本人也
曾失望过。然而到了1989年，历史出现了转机。C.M. Gray & W. Singer等在Nature上发表
了视皮层神经元活动的gamma（40Hz）同步振荡的研究结果，引起了神经科学界的极大关
注。就象滚雪球似的，神经生物学进一步表明，神经活动的同步振荡，不仅存在于人脑，
哺乳动物的脑，而且也发生在昆虫的脑，蝗虫天线神经节的同步振荡在20Hz左右，蛞蝓的
前脑叶的场电位振荡为0.5Hz；不仅发生在视皮层，也出现在外侧膝状体，新近证明也发
生在视网膜。
这些新发现吸引了Malsburg的注意，他认为振荡是脑的相关编码的现象，从而加强了
对同步振荡的研究。这里需要强调的是，他的最初的观点是“相关发放”，而不是“同步
发放”。
同步振荡理论是基于两个准则的：(1)位置编码，即刺激的含义被子编码为产生振荡的
细胞所在的位置所编码; (2) 振荡的同步，“同步”的作用是把由各自振荡的细胞所编码
的局部信息，通过振荡的相位同步而绑定起来。系统动态的作用就是在同步和非同步状态
间切换，从而将许多表达单位信息的细胞联系起来。
振荡自身并不用来表达信息，而是给神经元之间的相关性提供了一种时间结构，正是
这些彼此相关的、在给定的时间一起协同工作的动态神经元群编码着特定信息。同步是零
延迟的相关，是相关的特例。所以除了可以解决特征绑定外，“同步”还可解决“重叠空
难”的问题。如果两种刺激同时出现，可由两个内部同步而相互之间不同步的两个细胞群
来分别表示它们。
同步振荡与Hebb细胞群假设的区别就在于，前者是建立在细胞发放脉冲精细时间结构
之上的，而后者则是在生理时间级时间窗口内求平均脉冲发放率。
然而，同步振荡也是存在一些问题的。比如对于捆绑问题，为了维持稳定的捆绑关系
同步现象应该在刺激出现过程中一直持续，而大量实验发现，同步更多的只是一种瞬间状
态，这就使同步用于捆绑受到了怀疑。另外，在“重叠”问题中，有实验发现，当用一种
刺激作用于细胞时，细胞产生振荡，而如果有另外一个不同（如正交）的刺激同时也出现
的话，原本在振荡的细胞的振荡活动却会受到抑制。所以，有些观点认为，在某些脑的区
域里，同步振荡可能只是脑处理中一个动态计算过程被触发的反应。
2. 时空编码理论
1995年，曾以1982年、1984年两篇论文推动八十年代人工神经网络热潮的Hopfield，
提出了一个采用动作电位定时作为刺激表象的模式识别计算原理，其核心有两个方面：1.
诸多变量的规模是由脉冲出现的准确时间，而不是脉冲的发放率来表达，采用脉冲定时来
编码模拟信息；2. 有待识别的模式的信息嵌入到轴突或细胞的时间延迟中，通过不同的信
道具有不同时延的网络来实现模式的比较。
Hopfield认为，这样的计算范式，可以解释为什么一个神经构筑可以用在不同的感觉
通路，和完成看似不同的神经计算。
Fujii等论述了动态细胞集群的理论假设。它首先基于将皮层神经经元看作是脉冲放
电定时的符合检测器的工作假设，描述了动态神经元集群的自涌动力学，进而基于自涌动
力学假设描述了时-空编码原理。
在时空编码理论中，主要有以下内容：(1) 是建立在神经元脉冲发放的精细时间结构
上的，与同步振荡不同的是，脉冲不是等间隔的振荡脉冲，脉冲的间隔也被用于编码信息
(2) 神经元是作为脉冲时间一致性检测器来工作的，也就是说，一个神经元自身的脉冲发
放情况，由送入该元的输入脉冲在时间上的一致性来确定的，比如说接近同时到达的脉冲
数超过一定阈值，则该元发放。与传统神经网络的整合-放电单元不同，通过一致性检测
单元传递的不是发放率，而是脉冲发放时间；(3) 通过局部的一致性检测，形成“动态细
胞群”。一致性检测是局部事件，动态细胞群则是系统级事件，是一群细胞通过脉冲发放
时间临时链接到一起形成的，注意，并不要求这些细胞的脉冲发放是同步的，只要相关就
可以了。(4) 相关的关系是根据上下文（任务）形成的，细胞群可以根据上下文的变化进
行快速地重组。
之所以称为时-空编码，“空”是指空间连接，是一种硬件的拓朴结构，就是神经元
间的物理连接；“时”则是指在硬件结构上传递的时间模式，这种模式可以决定动态的连
接结构，这种时间模式的产生与硬件连接有关，但时间变量提供了传递信息的巨大能力，
结果是可以在同一硬件上形成许多不同的“动态结构”。“动态细胞群”是编码信息的基
本单位，是和任务有关的、以自涌方式形成的细胞的瞬时组合。
“动态细胞集群”假设可以有效地解决“重叠灾难”问题、捆绑问题、上下文关系表
达问题。
3. 时空编码和知识存贮以及感知的关系
在大脑中，并非只有一种编码方式存在。
经典的平均发放率编码方式在运动皮层已经得到生物实验证实。
同步振荡的产生需要重复、规则的硬件结构，在初级视觉皮层区域，功能细胞是重复
的“超柱”结构有规律地分布，是有利于同步振荡的产生的。而且在初级皮层功能比较简
单，时间自由度较小的振荡动态是可行的。
然而在高级感知系统中，如中颞区和前顶页皮层，要处理高度复合的许多特征，需要
更加灵活的事件和知识的捆绑方式，通过少数神经元表示信息是不够的和低效的，因而采
用细胞群表示信息、有着复杂动态行为和更大自由度的“动态神经元集群”的编码方案可
能会起主要作用。
所以在不同的皮层区域，应该是采用不同的编码方案来实现局部空间结构和时间动态
行为之间的平衡，以反应其所处理信息的自然特性。
4. 基于时-空编码的神经网络在工程中的应用
时-空编码的高度灵活性，以及时间变量所提供的传递信息的巨大能力，必然为神经
网络的发展注入新的活力。目前，基于时-空编码的神经网络在工程中的应用还刚刚起步，
而且主要集中在“同步振荡”理论的应用。
九十年代初，Schillen和Konig等人以及Malsburg都分别提出了振荡子相互耦合，对
同一目标作同步振荡，而对不同目标进行去同步的模型。这些工作不仅引起了神经生理学
界，而且也引起了工程技术界的极大重视。von der Malsburg发展了动态联结网络解决视
觉模式识别的“旋转不变性”问题，并试图把同步振荡模型用于机器人和汽车自动驾驶等
方面。1995年以Ohio大学Wang等人提出的采用振荡子形成的LEGION网络对于静态图象进行
分割的模型为同步振荡理论的应用打开了新的思路，但LEGION网络是以象素的位置和灰阶
的相似性作为同步振荡的依据的，它仍不能分割背景和目标。国内的科学家对时间相关和
同步振荡模型的研究已有涉及，如：郭爱克领导的小组提出了用同步振荡来解决的运动视
觉处理问题的新模型，解决旋转运动物体感知，不动背景和运动图形区分等，但其模型还
只处于理论建模阶段，离工程应用还有很大距离。
基于“自涌神经元集群”理论的应用，目前还未见有报道。
--
※ 来源:·BBS 水木清华站 bbs.net.tsinghua.edu.cn·[FROM: 159.226.41.99]
--
☆ 来源:．哈工大紫丁香 bbs.hit.edu.cn．[FROM: champaign.bbs@bbs.ne]
--
※ 转载:．紫 丁 香 bbs.hit.edu.cn．[FROM: 202.118.235.243]
Powered by KBS BBS 2.0 (http://dev.kcn.cn)
页面执行时间：2.644毫秒