发信人: ssos (存在与虚无), 信区: Algorithm
标 题: 古诗研究的计算机支持环境
发信站: 哈工大紫丁香 (2001年06月08日21:14:07 星期五), 站内信件
攀芯康募扑慊С只肪车氖迪�*
刘岩斌 俞士汶 孙钦善
(北京大学计
算语言学研究所) (北京大学古文献研究所)
【摘要】 北京大学正在开发以全宋诗为首选对象的古诗研究系统——古诗研究的计
算机支持环境。本文介绍这个系统的设计与实现。该系统已录入陆游的全部诗作9000余
首及部分注释，计88万字。本文介绍了该系统的基本功能如：检索、阅读、统计和辅助
研究工具及其实现技术，较详细地介绍了其中的全文检索和超文本技术。本文也介绍了
利用该系统可以深入开展的一些研究课题，如：古诗格律研究，古汉语研究和诗人风格
研究，从而可以辅助解决古诗研究中的一些困难问题。
关键词：古诗电子化 全文检索
一、引言
中华民族源远流长的文化积累了丰富多彩的古籍。在步入信息化社会的今天，我们
却不无遗憾地发现，对古籍的研究手段还大多采用手工方式。这种方式效率低、费人工
，因此我们在古籍研究中引入计算机，为古籍研究者提供辅助工具已是大势所趋。
古诗是浩瀚的古籍内容中的一个重要部分，它的结构严整、句式简单。首先对古诗研究
的计算机化进行探索，然后扩充到一般古籍是一个实用有效的途径。《古诗研究的计算
机支撑环境》这个系统的开发过程就是体现了这一思想。
北京大学古文献研究所自1986年起承担了全国高校古籍整理研究工作委员会下达的重点
项目《全宋诗》的编纂工作。《全宋诗》计划出60册，计3，300万字。1994年初，北大
古文献研究所与北大计算语言学研究所开始合作开发“古诗研究的计算机支持环境”。
双方认识到，以全宋诗为应用对象开发的古诗辅助研究系统不仅具有一般的计算机化古
籍系统的价值，而且可以发挥双方在数据资源、知识储备等方面所拥有的优势。
二、系统概要
本系统开发的宗旨，不仅仅是为了实现古诗版本的电子化[1]，更重要的，它的设计是面
向
古籍研究者的，目的在于为古籍研究者提供一个先进、方便的计算机环境以便其能进行
深层次的研究，这些研究如果没有计算机的帮助，或者是未曾想到的，或者是即便想到
了，仅靠人力与手工，实际上也是无法实施的。
在试验的原型系统中，我们选择南宋著名诗人陆游的全部诗作作为处理对象。陆游是宋
代作品最多的诗人，现存的作品9，000余首，覆盖古体诗、近体诗的各种诗体。以钱仲
联校注的《剑南诗稿校注》为底本，系统已存入了陆游诗作的正文与个别注释，计约88
万字，并且在这个语料的基础上，完成了系统的设计和初步实现。陆游的诗集计划于19
96年出版。显然，我们的工作将促进陆游诗集的编纂与出版。古文献研究所已开始利用
本系统进行陆游诗作的研究。
三·系统设计
系统在录入文本的基础上，逐层增加功能模块，以期使系统功能逐步完善，并且为功能
扩充保留接口。
下图表示了系统实现的过程：
书稿(“底本”)
标注底本
手工录入
电子文本(FILE)
实现全文检索
和属性检索
全文数据库(FULLTEXT DATABASE)
超文本(HYPERTEXT) 研究软件工
具包(可扩充)
这些工作都是在PC486微型机(内存8M，外存420M)的WINDOWS 3.1环境下实现的。编程语
言采用BORLAND C++3.1，关系数据库采用PARADOX 4.0。
四、系统功能
作为一个古诗研究的计算机支撑环境，系统充分考虑了古籍，尤其是古诗所具有的特点
，对于如何能够最大限度地满足研究者的需求作了多方面的尝试。
系统实现了四个基本功能:
1．基于超文本的阅读、写作功能
2．全文检索和属性检索功能
3．统计功能
4．辅助研究功能
1．阅读功能
在古籍中，除原文外，存在大量以注释、引文等形式出现的相关资料。这些注释、引文
对于原文的研究理解有重要意义。如果采用传统文本(包括纸张书本和计算机中的文本文
件)表示，读者需要按页、行顺序阅读，虽然可以跳页、跳行，但基本上是没有什么选择
余地的。这样的结构，不利于需要广征博引的古籍研究，因此系统引入了超文本技术。
超文本以一种非线性的网络结构组织信息，与传统文本相比较，超文本更符合人类非线
性的思维方式。它是将全部素材按内部的联系划分成不同层次、不同联系的单元，然后
将这些单元根据相互间的联系连接组成一个网望状信息网络。这样，读者阅读时，就可
以不必象读线性文章那样顺序向下读，而可以主动地有选择地查阅自己感兴趣的部分，
从而突破了束缚于传统文本线性排列的单一被动方式。
系统的超文本设计实现了方便快捷的阅读环境。在古籍中，一本书往往有多个注释版本
，因此系统处理时，把录入文本按内容分为含诗文部分的原本和含注释部分的注释本，
并且不同注释本之间提供互相查阅的功能。系统实现的超文本包括三个部分。
·结点(NODE):存储各类信息。
本系统把全部信息按性质为为四类，对应于四类结点。
（1）诗结点，每个结点存储一首诗。（2）注释结点，每个结点存储某个注释本的一条
注释。（3）知识结点，每个结点存储一条系统的背景知识，如关于某些事件、人物、书
籍等的知识。（4）图形结点，每个结点存储一幅图形。在系统升级为多媒体版本时，这
类结点就作为多媒体结点，存储声音、动画、图象等。
·链(LINK):存储结点间的联系。
系统按照链接的结点的类型把链分为五类。
（1）结构链，按照原本的结构，系统按照书、卷、诗的层次树状结构将不同诗结点链接
起来。（2）注释链，链接诗结点和相关的注释。一个诗结点可以链接多个注释结点。一
个注释结点也可以链接多个诗结点，这样可以消除古籍中常见的“见某某注释”的形式
，而直接显示相应注释。（3）参考链，链接不同注释本对同一条目的注释。这样不同注
释本的内容通过它可以互相查阅。（4）知识链，把知识结点链接到诗和注释结点上。（
5）图形链，把图形结点链接到诗 、注释和知识结点上。
l信息网(INFORMATION NET):由结点和链构成的网状结构。从信息网中的任意结点可以
沿链访问有链接的兴趣结点，从而实现信息的选择查阅。图示如下:
参考链
注释结点
注释链
知识链 知识链
诗结点
知识结点
知识链
图形链
图形链
图形结点
系统对于超文本的管理力求方便灵活，并且具有动态完善的特点。
首先，对于结点和链分开进行管理，而不是将链信息保存在结点中。这样作的考虑有两
点：（一）链的连接相对地容易变化，而结点信息则相对稳定。分开管理可以使链连接
的变化不影响结点信息的存储；（二）超文本实现的效果决定于链的设计，链组织得没
有章法，将给用户的沿链查询带来混乱，导致系统的失败。因此分开管理可以对不合适
的链连接随时进行调整。
其次，除诗结点以外的其它结点，除结构链以外的其它链，系统都提供了增加、删除、
修改的功能。这样便可以动态地不断丰富系统的资源，系统的功能也逐步完善，使用将
越来越方便。
最后，系统提供联机写作功能。研究者可将自己的心得、考据等作为新注释录入，形成
电子笔记或电子眉批。可以对其方便地修改、查阅（包括对其它注释内容的交叉参考）
。再结合一些必要的编辑手段，可为研究者著书立说提供有效的支持。
2．检索功能
中国人学习与钻研古籍向来有先博闻强志而后精深的传统。这个过程是相当长的，显然
已不适应节奏加快、信息剧增的现代社会中的人。现代社会中，以检索代替背诵是一个
趋势。计算机具有快速、精确的特点，因而用计算机检索来代替手工检索是本系统的重
要功能。特别是全文检索功能可大大缓解研究人员的记忆负担。古文献研究中即便是专
家也感棘手的辑佚任务，有了全文检索的功能，一般的操作员就可以完成。
为帮助研究者高效率地完成从寻章觅句到各种有价值的属性检索的工作，系统提供两类
检索方式：全文检索、属性检索。
2.1 全文检索
全文检索（FULL TEXT RETRIEVAL）能以任意字串对文件内容进行检索。为增加检索的灵
活性，本系统设计了如下的检索功能：
·范围限制: 将查询范围限定为当前诗卷或全部诗卷。
·同义词查询: 人的记忆具有模糊的特点，我们经常发现，在一个人记忆诗句时，他往
往能把握字句大概的意义，而未能精确地记住该字句。因此，本系统中增加同义词（包
括通假字）查询的功能。
若查询中增加同义词要求，则可扩充检索的结果。例如，查询“寒”字时又同时查
询含“冷”字的诗句。
实现这个功能对于一般古文献的检索的意义更大，因为在一般古文献中，这种情况
更为多见。
·逻辑检索: 人们所记忆的诗句又经常是不完全的，因此系统不仅允许用户以任意汉字
或汉字串作为入口点检索，而且在检索字串中可以合并使用逻辑运算（与“.and.”、或
“.or.”）和特殊符号（通配符“*”、适配符“？”、句尾标志“/”）。
例如:检索字串“万里*情/”的查询结果为顺序包含“万里”、“情”的字串，中间可以
间隔任意多个字，并且“情”字为句尾字。如:“西风万里玉关情”。
考虑到古诗中，单字词占绝大多数，因此系统现在实现全文检索时是以单字为单位对诗
本身的内容（不包括题目，题解，注释和各种标点符号）进行的。具体到本系统，对于
约45万字语料进行检索。最后，检索结果以诗句为单位给出，需要时可查看全书。在统
计出“词”之后，对于那些“连绵词”，如鸳鸯，鹈鹘等可按“词”进行检索。这样可
以提高效率。
全文检索的主要技术难点在于检索速度和内存要求。本系统为兼顾这两个方面作出了多
种尝试。
首先，系统根据录入文本中的标注信息，自动构造按“书、卷、诗、句”的结构层次形
成的检索树。接着，构造如下图结构的倒排文件（INVERTED FILE），完成检索用数据的
构造。
字索引表 倒排表
汉字A ? 出现次数m ? 指针 本字信息1 ? 后继子指针1
本
字信息2 ? 后继子指针2
．．．
．．．
本
字信息m ? 后继子指针m
．．．
本字
信息x ? 后继子指针x
．．．
汉字B ? 出现次数n ? 指针 本字信息1 ? 后继子指针
1
．．．
．．． 本字信息
n ? 后继子指针n
．．．
本
字信息y ? 后继子指针y
．．．
系统为提高全文检索的速度作了大量尝试，最后实现的查询速度是O(klogN)，N是语料中
出现的不同汉字的个数，k是语料中单个汉字出现的次数，这个速度是相当快的。对于系
统现有语料，N的值是5500，k的最大值是4800。随着语料的增长，这两个值的增加速度
远小于线性增长，并且N的上限是汉字系统全部汉字的数量。系统的内存占用较大，但得
到的倒排文件是下述许多功能的基础，并且系统尚存在冗余，可进一步压缩。
2．2 属性检索
属性检索（ATTRIBUTE RETRIEVAL）提供关于诗的各种属性的检索，如：写作年代、地点
、同题数、诗体、主题、韵等，这些属性对于研究工作都是很有价值的。
系统从录入文本中自动抽却取息，构成基本信息数据库，再结合系统的古诗规则库（包
括：诗体的构成方式、押韵方式、平仄配置原则、主题常用词等），就可以完成对于基
本信息数据库的智能化检索。
按照系统目前的设计，可以方便地实现全文检索和属性检索的合并（在一个检索字
串中时包含两种检索方式，例如：“情” .and. 诗体=“五
串中同时包含两种检索方式，例如：“情” .and. 诗体=“五言绝句”），从而使系统
的检索功能
的检索功能更为强大。
3．统计功能
古诗研究当然不会只限于摘章寻句，在进行深层次的研究时，研究者的很多心得来自基
于经验的感性认识。不过，感性认识也需依赖一些理性的统计与计量。过去由于没有适
当的工具，统计与计量的作用未得到重视。现在可以充分利用计算机的优势，为研究者
提供便利可靠的各种统计数据，并以图、表等直观形式显示给研究者。
本系统提供了丰富的统计功能。
·诗作统计：可按年代、地点、诗体、主题等统计条件分门别类地进行统计，并可以将
统计结果与背景知识结合进行分析。背景知识可以包括时代大事记、作者履历、地图等
辅助材料。
例如，把按年代统计的结果放入作者的履历背景，可揭示创作旺盛期与作者个人情况的
联系。而将这个统计结果放入时代大事记的背景中，尤可揭示作者的创作旺盛期与当时
的时代背景有什么关系。而将按地点、时间统计的结果放入地图，可以得到一幅“陆游
行吟图”
·汉字统计：包括各种字、词信息的统计。
字信息的统计是很常规的，如字数、字频等。这部分的统计也可结合其它统计条件进行
。
例如，按照年代的统计结果，可以揭示作者用字习惯的变化。
词信息的统计基本一样，但是词的判定则有赖于下面要提到的抽词工作。
·总体统计：对于全宋诗整体的诗作和汉字统计，并且支持进行对于单个作者与全宋诗
整体情况的相对度量。
这部分的统计结果是许多研究的基础数据。因为研究者对于统计数据的要求是多样和变
化的，所以系统设计允许增加新的基本统计条件的组合，从而最大限度地为研究工作提
供支持。
4．辅助研究功能的设计
4．1 语言研究
运用在现代汉语信息处理研究中建立的计算语言学的理论、方法和技术，可以对古汉语
的语言现象进行深层次的研究。对这个领域进行探索的研究成果除在古籍整理、研究、
出版现代化中发挥作用外，同时也会促进纵向的古汉语语法研究与与现代汉语语法研究
的结合，推动现代汉语语法研究的深入和语音信息处理技术的发展。
宋诗同宋文（语录除外）相比，更接近当时的口语，（这个特点在唐诗中更为明显），
因此以诗为语料来进行古汉语研究是有价值的。
语言学的研究课题十分广泛。仅以词为例，不要说现代汉语语法关于词的分类问题还没
有彻底解决，就是汉语中有没有“词”这个语法单位也是有不同意见的[3]。有的学者认
为，汉字形声义具备，就是语言研究的基本单位，因此，“词”以及由此引出的“词的
切分”都是不必要的。仅用自然语言处理技术的实际需要来反驳这个论点是不够有力的
。如果能从古文中析出相当于“词”的单位，编制出一部古汉语的词典，那么对于这个
问题的研究无疑是一项实际的贡献。然而由于现在从事计算语言学研究的人普遍不熟悉
古文，实际着手这项工作是有困难的。但如果先以古诗作为考察的对象，情况会有所不
同。古诗的结构严整统一，有固定模式，句式简单，节奏明确，对仗工整，每句字数少
，因此，古诗的切分，词频统计等工作的难度可能会小一些。
本系统以陆诗为语料尝试了自动抽词与建词典的工作。
从形式上看，词是由字构成的，并且是经常同时出现的字的某种组合。只考虑双字词，
我们可以对在语料中出现的各种字对的组合进行统计，计算任意两个字的互信息（MUTU
AL INFORMATION）[5][6]。
汉字X，Y的互信息的定义为：
其中，p（x，y）是 x，y的邻接同现频率，p（x），p（y）分别代表x，y的独立概率。
以N表示语料的大小，以f（x，y），f（x），f（y）分别代表x，y邻接出现和各自出现
的次数，则p（x，y），p（x），p（y）可由下式近似表示：
互信息反映了汉字对之间结合关系的紧密程度，当紧密程度高时，我们便可以认为它们
构成了一个词。具体如下：
① I(X;Y)>>0
即p(X,Y)>>p(X)p(Y)，这时X,Y之间真实存在着结合关系，我们认为它们构成了一个词。
② I(X;Y)<<0
即p(X,Y)<<p(X)p(Y)，这时X,Y之间基本没有结合关系，我们认为它们没有构成词。
③ I(X;Y)～0
即p(X,Y)～p(X)p(Y)，这时X,Y之间没有可以肯定的关系。
根据互信息的计算，可以从预料中自动抽词。至于认定为词的标准则根据语料库的具体
情况有所变化。具体到系统的古诗语料库，考虑到语料较小并且古代汉语中双字词的情
况远小于现代汉语，因此我们将认定为词的标准定得偏严。对于单纯计算互信息的抽词
结果又根据诗的特点进行了修正，如：按照诗句的平仄（平平仄仄平平仄，仄仄平平仄
仄平），在平仄交错的两字多不能成词；诗句中对仗于词的位置出现词的可能性会增加
；跨越专名、书名边界的两字不能成词；专名、书名不记为词等。这样，系统从45万字
的诗文语料中抽取约600个词，正确率达95%。抽词工作是词典编纂的基础。
在此项研究的基础上，当然还可以进一步开展各个层次的语言研究及古汉语信息处理研
究，包括实现从古文（古诗）到白话文、古文到外文的机器翻译。
4．2 格律研究
近体诗（绝句、律诗）的押韵是非常有规律的，即偶句押韵，首句随意。只要将每首近
体诗的第一句及偶句的尾字取出，就可以判断该首诗的押韵是否符合常规以及所押的是
“诗韵”中的哪一个韵。系统中存有“韵书”备查，并且压韵规则也存储于系统规则库
中。
系统中还存放一部古今常用字字典（包括了陆诗的全部用字5500余字）。每个字的属性
信息包括其现代读音（汉语拼音形式表示，包括声母、韵母及阴平、阳平、上声、去声
和轻声五个音调），古音（可进一步区分为上古音与中古音）的声母、韵部及音调（平
、上、去、入）。因此，除韵之外，还可以进一步研究诗的平仄变化和古今音的对比。
系统可以为诗文自动注音。但是由于在注音过程中，发现古文中通假和多音的现象大量
存在，古今常用字字典十分之一强的字为多音字，如常用字“华”字就有三音，“hua1
”（通“花”）、“hua4”和“hua2”。这样单纯依靠字典的注音效果不能令人满意。
因此系统在对多音字注音过程中引入了上下文的信息，根据多音字和附近汉字的同现信
息[5]（CONCURRENCE INFORMATION）为多音字注音。
首先，建立人工标注的多音字语料，并且根据这些语料计算多音字和其上下文中汉字的
同现信息。同现信息和互信息相近。公式如下：
其中，x表示具有某确定发音的某多音字，y表示出现该多音字x的上下文中的某汉字，下
标w表示多音字x和汉字y的距离，pw(x,y)是汉字x，y的距离不超过w的同现频率，至于p
(x)，p(y)的定义和互信息一样。
然后，根据由标注语料计算而得的同现信息就可以对多音字进行注音。
例如：如果要对“参差碧瓦带斜晖”句中的“参”字注音。字典中“参”字有三音“ca
n1”、“cen1”、“shen1”。由于测试句中，“参”字的后继字为“差”，而“参”的
“cen1”音和“差”的同现信息远远高于“参”字的另外两个音与其它汉字的同现信息
，所以此句中的“参”字应注“cen1”音。
这样，在多音字注音处理中引入上下文的信息，经实践证明可以达到满意的效果。
在注音之后，由于多媒体技术的发展，在古诗研究系统中包含陆诗的吟诵已没有什么困
难。但是诗与其它古籍不同，诗的价值很大部分在音韵上，并且自古至今，汉字音的变
化要大于形的变化，造成许多古诗音韵美的破坏。因此如果能够“复活”汉字的古音（
即不仅在纸面上以某种方式注音，如“反切”或国际音标，而是能够真正读出来），就
可以恢复古诗的原有风貌，相信对于研究者的研究也会有所裨益。
4．3 风格研究
风格指诗人在其作品中表现出的个人特征，包括主题范围、思想情操、语言文字各个方
面。文学评论家通常是根据自己的主观认识去评价诗人风格的。其实，这种风格也在各
位诗人的作品的统计特征上表现出来，换句话说，风格也有数量上的表现，是可以计算
的，这是计算语言学的一个研究领域，即计算风格学。计算风格学应用于作者考证，曾
解决了文献史上许多存在争议的棘手问题[4]。
利用前述的系统基本功能和辅助研究功能，可以对陆游诗作的文字风格、音韵风格、语
言风格及修辞风格进行定量的评估，也可得到相对于全宋诗整体或其它诗人的比较结果
。
例如，如果统计了陆游诗的全部汉字及其频度，也统计了《全宋诗》的全部汉字及其频
度，我们就可以了解陆游使用汉字的风格与同时代诗人使用汉字的风格是否相近，陆游
是否喜欢使用生辟字以及使用了哪些生辟字（指在陆游诗中的出现次数与在全宋诗中的
出现次数相同或相近的那些字）。如果我们实现了诗句中词的切分与词典的编纂则可研
究陆游遣词造句的风格，包括陆游是否喜欢使用典故。显然，陆游诗中出现的专名（人
名、地名、作品名等）对作品的辩伪也有重要的参考价值。
如果不把陆游的诗同全宋诗作比较，仅对陆游自己的诗也可以统计出若干风格上的特征
来。例如，计算陆游全部诗作中各种诗体所占的比率及下列各种比率：古体诗换韵、平
声韵、仄声韵、近体诗第一句是否押韵、平仄变化是否合乎常规等等。根据这些比率，
人们可以判断陆游写诗是严格遵循诗的格律还是比较自由的。利用这些统计数据，可以
在概率的意义上判断某些归属存疑的诗是否为陆游的作品。
4．4 余论
除了风格特征外，一般对于存疑作品的作者判定是看该作者的全部诗作中是否有相似作
品。因此利用系统提供的功能，对于给定的诗文和相似比率的大小，可以在系统存储的
诗文中查到相似的诗文。
古籍有时需要分类研究，按照题材可分为叙事、抒情、哲理、咏物等，系统根据专家提
供的题材常用词，可以进行自动分类[5]。具体到古诗，由于每首诗的字数过少，因此分
类的准确率不可能太高。但是我们希望这一功能在古籍研究中能发挥更大的作用。
五、结语
虽然我们初步建立了一个古诗研究的计算机支持环境，对古籍整理研究工作的计算机化
取得了一些经验，但这些工作是相当初步的。
中国的古籍是我们特有的一份珍贵遗产，但是这个专业的计算机化的工作做得还不是很
多，而在现有的一些工作中，又存在对于某些热点古籍的重复开发和缺乏统一标准的问
题。对于这些问题的解决和更深入的研究还需要有更多的研究者潜心的投入。
本课题组还有两名成员，于博文和沈刚同学都为系统的初步设计和开发作出了努力，本
文也包含了他们的劳动成果。
参考文献
[1] 谢清俊、陈昭珍，《谈古籍之电子版本》，1993年10更多月海峡两岸古籍整理研究
出版现代化技术研讨会论文集。
[2] 暂以钱仲联《剑南诗稿校注》正文为底本，上海古籍出版社，1985年9月第一版。
待《全宋·诗陆游诗集》校订后，再改为《全宋诗》本（以及古阁《剑南诗稿》为底本
，与钱同）。
[3] 马希文，《以计算语言为背景看语法问题》，国外语言学，1989年第三期，P139～
145
[4] 冯志伟，《数学与语言》，湖南教育出版社，1991年2月第一版，P92～99.
[5]《TEXT_BASED INTELLIGENT SYSTEMS Current Reserach and Practice in Inf
ormation Extraction and Retrieval》, Edidted by Paul S.Jacobs, 1993
[6] 孙茂松，黄昌宁，陆方，沈达阳，《利用BIGRAM解决汉语自动分词中的交集型歧义
》
The Implementation of a Computer_Aided Environment for Ancient Poetry Resea
rches
LIU Yanbin YU Shiwen Institute of Computational Linguistics, Peking Un
iversity
SUN Qinshan Institute of Ancient Texts, Peking Unive
rsity
Abstract
The Computer_Aided Environment of Chinese Ancient Poetry Researches is
being developed in Peking University. This paper introduces the design and i
mpletementation of the system. The poetry of Song Dynasty is selected as the
original content of the system. All of the poems of LU You, a famous poet i
n Song Dynasty, and part of annotations, have been typed in. The paper intro
duces the system's fundamental function,such as retrieval, read, statistics,
assistant tools and the related techniques. In details it describes Full Te
xt Retrieval and Hypertext. The paper also introduces some deep researches w
hich can be implemented by the aid of the system: for example, the researche
s about rules and forms of ancient poetry, the researches about ancient Chin
ese linguistics and the researches about the writing pattern of poets.
--
<<社会契约论>>是一本好书,应当多读几遍
风味的肘子味道不错,我还想再吃它
※ 来源:·哈工大紫丁香 bbs.hit.edu.cn·[FROM: 202.118.230.220]