精华区文章阅读

发信人: ssos (存在与虚无·戒酒戒网), 信区: Algorithm
标  题: 国家高性能计算环境的设计与实现　　　　　　　　　�
发信站: 哈工大紫丁香 (2001年11月14日12:48:04 星期三), 站内信件

　　　　　　　　　　　　　　　　　　　　中国科学院计算技术研究所
　　　　　　　　　　　　　　{liwei, zxu}@ict.ac.cn, tang@chpc.ict.ac.cn
　　　　　　　　　　　　　　　　　　　　　　　　谢向辉
　　　　　　　　　　　　　　　　　　　　　　　江南计算所
　　　　　　　　　　　　　　　　　　　　　xhxie@ict.ac.cn
　　　　　　　　　　　　　　　　　　　　　　　　肖侬
　　　　　　　　　　　　　　　　　　　　　　国防科技大学
　　　　　　　　　　　　　　　　　　　　nongxiao@nudt.edu.cn
摘要本文介绍国家高性能计算环境（NHPCE）的设计与实现。NHPCE的设计目标是在计
算资源广域分布且动态变化的元计算环境下实现高性能计算。NHPCE以我国现有的高性能
计算资源为基础，设计并实现了一个高性能计算的支持平台。NHPCE由国产超级计算机构
成，通过网格系统软件GridWare实现了广域高性能计算资源的优化配置和共享使用。NH
PCE在网格系统软件的基础上开发了科学计算型应用系统和生产型应用系统。目前NHPCE
建立了测试结点，成功安装并运行了GridWare软件系统。
关键词：国家高性能计算环境，NHPCE，元计算，Metacomputing，GridWare，网格
Design and Implement of National High Performance Computing Environment
LI Wei XU Zhiwei TANG Zhimin
Institute of Computing Technology, Chinese Academy of Sciences
{liwei, zxu}@ict.ac.cn, tang@chpc.ict.ac.cn
XIE Xianghui
Jiang Nan Institute of Computing Technology
xhxie@ict.ac.cn
XIAO Nong
National University of Defense Technology
nongxiao@nudt.edu.cn
Abstract This article introduces the design and implement of National High P
erformance Computing Environment (NHPCE). The goals of NHPCE are to implemen
t the high performance computing under the metasystem in which the computing
resources are dynamical and widespread. NHPCE is based on the computing res
ources that are being used and constructs a supporting system for high perfo
rmance computing. Comprised by a number of national supercomputers, NHPCE us
es system software - GridWare to integrate them into one whole system, obtai
ning the better configuration and better sharing of distributed computing re
sources. Based on GridWare, we also develop the applications both for scient
ific computing and for production. Now NHPCE has built up some supercomputin
g node for testing. GridWare is successfully installed and is running well.
Keywords National High Performance Computing Environment, NHPCE, Metacomputi
ng , GridWare, Grid
1 引言
随着高性能应用需求的迅猛发展，单台高性能计算机已经不能胜任一些超大规模应用问
题的解决。这就需要将地理上分布、系统异构的多种计算资源通过高速网络连接起来，
共同解决大型应用问题，即广域高性能的元计算技术（Metacomputing）[1]。
元计算技术对于解决大规模应用具有非常重要的意义。典型的例子包括：美国的I-WAY[
2]实验，连接了北美17个不同地点的超级计算机资源，完成了包括科学模拟[3，4]，项
目协同[5，6]及科学仪器[7]等应用。最近，美国的MetaNEOS项目利用1000台（总共251
0个处理器）分布在不同地点的计算机共同完成了nug30[8]问题 [9]。
元计算系统（Metasystem）具有分布式系统和并行系统的特征，但是又同二者有着非常
重要的区别。与分布式系统类似，位于多个管理域下的超级计算机通过不可靠的网络进
行连接，并且需要对广域分布的动态资源进行集成。但是元计算系统对高性能的要求使
其编程模型及接口与分布式系统有极大的差别。同时，元计算系统作为并行系统还需要
进行超级计算机之间的通信调度以满足应用对性能的要求。然而，由于元计算系统的异
构性以及动态性使得现有的并行计算技术的应用受到很大的限制。为此美国从90年代初
开始进行国家计算网格（Grid，简称网格）[10]的预研。作为元计算系统的实现，计算
网格是国家级高性能计算和信息服务的战略性基础设施，在全国范围内提供各种一体化
的高性能计算环境及信息服务。目前美国正在兴建的计算网格包括：National Technol
ogy Grid，NASA Information Power Grid，ASCI Distributed Resource Management
(DRM) Testbed等。
元计算系统的上述特点在网格系统设计和网格系统工具开发等方面向系统的分布性和并
行性提出了新的要求。"国家高性能计算环境（National High Performance Computing
Environment，简称NHPCE）"项目的目标就是针对上述问题实现一个完备、实用的元计
算系统。NHPCE的初期目标是在全国范围内建立由多个高性能计算机结点组成的计算网格
系统，开发网格系统软件GridWare和若干重大行业应用。网格系统软件GridWare主要包
括网格用户管理，网格资源信息管理，网格作业管理，网格安全系统等（图 1）。网格
应用包括生物计算，气象预报，石油油藏模拟，科学数据库等具有重大生产意义的系统
。
NHPCE的长期目标是提高计算网格系统的性能、可扩展性及可用性。在计算资源分布和超
级计算机系统异构的情况下，NHPCE应尽可能的提高计算性能；对于广域分布的计算资源
，NHPCE应具有很好的扩展性；由于元计算系统的复杂性，其资源信息是动态变化的，只
有在运行时才能确定资源是否可用，因此NHPCE需要提高系统资源的可用性。
本文第二部分介绍了元计算技术，第三部分介绍了NHPCE的体系结构，第四部分介绍了N
HPCE的网格系统软件GridWare，第五部分介绍了NHPCE目前的测试结点情况，第六部分给
出结论并讨论NHPCE项目的进展和未来的计划。
2 元计算技术
我们可以将元计算系统定义为通过高速网络连接，由地域分布的动态计算资源构成的网
络虚拟超级计算机系统[11]。元计算系统在其概念的提出后经历了几个发展阶段[1]，目
前对元计算系统的研究主要集中在指国家范围内的广域虚拟超级计算机系统。
元计算技术产生的背景是计算应用对计算机资源和计算能力不断增长的需求。当单台计
算机系统不能满足应用的需求时，就需要使用其它计算机系统的资源。一方面，由于超
级计算机系统非常昂贵，不可能增加新的超级计算机作为这个应用的专用系统；另一方
面，即使可以使用其它超级计算机的资源，由于应用系统不具备通用性，因此不可能直
接利用这些计算资源。元计算系统的出现为解决上述的问题提供了新的途径。
2.1 面向元计算系统的应用
美国1996年进行的I-WAY[2]实验表明，基于元计算系统的应用主要可以分为四类：
1. 桌面超级计算。这些与远程超级计算机和数据库相耦合的应用具有高端图形处理能力
。这种耦合使用户在获得超级计算能力的同时，与计算资源、应用开发人员以及其他用
户保持远程距离。
2. 精密仪器。这些应用将用户和远程超级计算机系统上的望远镜、显微镜以及卫星
图 1 NHPCE系统结构
接收装置相连以获得准实时的数据处理。
3. 协同环境。第三方应用将多个虚拟环境组织在一起，不同地点的用户可以和其他用户
和超级计算机模拟系统进行交互。
4. 分布式超级计算。这些应用将多个超级计算机组织在一起，解决一些单机难以处理的
问题，或者将问题分解到多台计算机上并行处理。
2.2 元计算系统特征
I-WAY[2]及其他的元计算实验系统表明，元计算系统一般具有以下的特征：
*扩展性。元计算系统初期的规模较小，随着超级计算机系统的不断加入，系统的规模随
之扩大。
*系统多层次的异构性。构成元计算系统的超级计算机有多种类型，不同类型的超级计算
机在体系结构、操作系统及应用软件等多个层次上具有不同的结构。
*结构的不可预测性。与一般的局域网系统和单机的结构不同，元计算系统由于其地域分
布和系统的复杂使其整体结构经常发生变化；元计算系统的应用必须能够适应这种不可
预测的结构。
*动态和不可预测的系统行为。在传统的高性能计算系统中，计算资源是独占的，因此系
统的行为是可以预测的。而在元计算系统中，由于资源的共享造成系统行为和系统性能
经常变化。
*多级管理域。由于构成元计算系统的超级计算机资源通常属于不同的机构或组织并且使
用不同的安全机制，因此需要各个机构或组织共同参与解决多级管理域的问题。
对于元计算系统来说，最根本的问题是实时获得系统的结构和状态信息，通过这些信息
对网格应用进行配置，并能实时获得计算资源的状态信息。
3 NHPCE的体系结构
我国自主研制生产的曙光、神威及银河等超级计算机已经广泛应用在国防、生物、气象
及石油等重要领域。由于高性能计算资源的昂贵性和分散性，如何提高其使用率以及最
大程度的共享这些计算资源成为一个需要解决的现实问题。同时，由于应用规模的不断
增长，很多大型的应用问题已经不能由单台超级计算机完成，而必须由多台超级计算机
协同解决。
NHPCE项目的目标是解决上述的问题，实现一个基于共享高性能计算资源的、用于解决超
大规模应用的高性能计算网格系统。本文主要介绍NHPCE的总体设计及其实现，包括（a
）NHPCE底层支持结构和（b）NHPCE系统软件以及（c）NHPCE应用系统模式。
3.1 NHPCE底层支持结构
图 2 GridWare的两层结构
广域分布的超级计算机及互联网络（Internet或专用网）组成了NHPCE的底层支持结构。
分布在不同地域的曙光、银河及神威等异构超级计算机构成NHPCE的计算结点，计算结点
之间通过Internet或专用高速网连通。网格计算结点可以提供千亿次以上的浮点运算能
力以及海量级数据存储能力，并配置有高效的系统软件、编译器系统、并行编程工具、
数据库及网络服务器软件，为NHPCE系统软件提供了有力的支持。
3.2 NHPCE系统软件
目前的超级计算机可以提供网络环境下的管理工具和开发工具，这些系统工具为计算网
格的开发和使用提供了一定的基础。但是由于NHPCE中计算结点系统之间的异构性以及计
算资源的广域分布，这些工具在NHPCE中难以利用。NHPCE需要提供相应的软件系统来消
除异构结点系统之间的差异，实现对整个网格计算资源的统一管理。NHPCE系统软件Gri
dWare的目标是实现以下的功能：
*全网格统一的资源信息管理。GridWare对网格资源进行统一管理，包括资源信息的组织
，资源信息的查询，网格资源的分配等。
* 全网格统一的用户管理。GridWare实现用户对NHPCE的单一登录，用户信息的查询和修
改，用户记账等。
* 全网格统一的作业管理。GridWare向网格用户提供统一的批作业系统，包括批作业的
提交、查询、撤销，批作业的自动调度等。
* 全网格统一的安全和认证系统。GridWare使用硬件设备完成网格用户身份的认证，数
据加密传输等功能。
GridWare系统可以分为两层结构：与底层网格计算结点无关的信息服务器以及与网格计
算结点相关的主机控制器。GridWare信息服务器是NHPCE超级计算结点的前端系统，向网
格用户提供统一的界面。GridWare主机控制器与超级计算结点直接相关，不同类型的结
点实现不同的主机控制器。图2显示了GridWare的结构。
3.3 NHPCE应用系统模式
NHPCE系统软件GridWare为网格应用提供了支持平台和开发平台。由于对各种计算资源的
特殊要求，网格应用需要对网格的计算资源进行查询并获得所需的计算资源，向网格提
交作业并计算结果，保证重要数据和文件的安全等。GridWare向网格应用提供了与各个
功能模块相关的应用编程接口（API）。
4 NHPCE系统软件GridWare
GridWare软件系统包含多个功能模块。其中资源信息管理模块、用户管理模块以及作业
管理模块中定义了NHPCE中用于高层网格系统应用开发的编程接口，同时还提供了基于不
同操作系统平台（曙光、神威及银河机系统等）的底层实现。GridWare软件系统使用Op
enLDAP[12]作为资源信息管理的支持系统。
4.1 NHPCE资源信息管理模块
资源信息管理模块实现了计算资源的表示、资源的确认以及确认后对资源的调度和分
图 3 NHPCE资源信息的组织结构
配。对网格资源的最优分配是提高网格应用性能的关键。
4.1.1 计算资源的表示
NHPCE使用LDAP（Lightweight Directory Access Protocol）对计算资源进行表示。Gr
idWare系统使用LDAP的协议软件OpenLDAP[12]作为网格资源信息管理的支持系统。根据
NHPCE的特性，GridWare在表示网格资源时使用了树状的层次方式。图 3显示了NHPCE中
资源信息的组织结构。资源的表示使用了LDAP协议规定的方式。资源信息由一组实体（
entry）组成，每个实体包含0个或多个"属性-值（Attribute-Value）"对。实体的类型
，称为对象类（ObjectClass），指定了属性（Attribute）的必选选项和可选选项（参
见图 4）。
使用上述的组织结构和表示方法，GridWare可以将整个网格的资源信息组织到OpenLDAP
服务器中，并通过LDAP标准API对资源信息进行查询，增加，更新，删除等操作。通过资
源信息管理模块，网格应用可以完成对资源的确认、调度和分配。
4.1.2 资源信息的收集
在NHPCE中，资源信息分为两类：相对静态的信息和相对动态的信息。静态信息是指变化
较小的资源信息，如软件信息，文档信息等；动态资源信息是指变化较为频繁的资源信
息，如主机信息，网络信息等。由于动态信息对网格系统的性能起着更为重要的作用，
因此需要保证动态信息的实时性。GridWare采用定时收集动态信息的方法保证动态资源
的可用性。对于静态信息，由于对系统性能的影响较小，GridWare采用手工收集的方式
进行组织。
4.1.3 资源信息管理编程接口
GridWare在LDAP协议的基础上提供了与底层无关的编程接口。GridWare高层软件不必了
解这些接口的内部组成。NHPCE资源信息管理模块底层结构的变化不会影响整个GridWar
e系统，而只需修改接口的内部实现。GridWare提供了资源信息查询、添加、修改以及删
除等接口函数，使用这些API可以对GridWare进行扩展；在开发网格应用可以使用这些A
PI完成对资源信息的操作。
4.2 NHPCE用户管理模块
NHPCE用户管理模块实现了对网格用户的统一管理，主要包括网格用户的申请注册、增加
、删除、身份认证及用户信息组织等功能。由于NHPCE具有多个管理域（多个网格结点）
，网格用户包含两个层次：网格帐号和主机帐号。网格帐号是指用户在全网格唯一的帐
号，通过这个帐号可以从任何网格结点登录到NHPCE；主机帐号是用户在网格结点主机上
的真实帐号，用户可以拥有一个或多个结点的主机帐号。用户只有拥有主机的帐号才可
以使用这台主机的资源。图5显示了用户Gunix和Gwindow在网格中拥有多个主机帐号的情
况。
图 4 GridWare中对象类NHPCEPerson和NHPCEHost的定义
4.2.1 用户管理编程接口
GridWare提供了用户账号的增加、删除以及用户口令修改等编程接口。与网格用户的两
层结构相对应，上述操作包括两个方面（a）操作结果作为资源信息保存在资源信息数据
库中（b）在主机上完成与用户管理相关的操作。
4.2.2 基于不同操作系统的实现
GridWare用户的两层结构中，网格用户层的实现基于资源信息管理模块，在各个网格结
点中是相同的。而主机账号则与结点主机相关。不同主机的用户管理系统之间存在很大
的差异，因此GridWare要在各种结点系统上完成不同的实现。目前，GridWare已经在曙
光，神威，银河及同方等系统上实现了不同的用户管理编程接口。
4.3 NHPCE作业管理模块
GridWare作业管理模块提供了批作业处理方式。批式作业说明书指明了作业所需的资源
情况。GridWare根据当前网格计算资源的状态确定是否提交这个作业。作业信息保存在
资源信息数据库中。GridWare作业管理模块分为两层，与主机无关层提供了全网格统一
的编程接口，屏蔽了不同主机上作业管理系统的差异；与主机相关层是作业管理模块编
程接口在不同类型主机上的实现。
4.3.1 作业管理编程接口
GridWare作业管理模块向网格用户提供了用于批作业处理的系统编程接口。作业管理模
块API包括作业提交，作业撤销，作业信息查询以及作业信息删除四种主要的系统编程接
口。在作业提交编程接口中，用户可以根据网格当前资源使用情况自行选定所需的资源
，也可由作业管理模块自动选定所需的资源。在作业运行期间，用户可以实时查询作业
当前状态。网格用户可以在作业提交后撤销这个作业。在作业运行结束后，网格用户可
以清除资源信息数据库中对应的作业信息。
4.3.2 基于不同操作系统的实现
网格系统中不同类型超级计算机之间的作业管理系统有很大的差异。网格系统必须消除
这种差异，向用户提供统一的编程接口。GridWare已经在曙光、神威、银河及清华同方
系统上完成了作业管理模块的不同实现。
4.4 NHPCE安全和认证模块
NHPCE的安全和认证模块包括用户认证，数据安全以及用户访问控制。
用户认证包括用户身份认证和用户身份识别。用户身份认证通过读卡机硬件实现。网格
用户通过刷卡方式进入NHPCE系统。用户身份识别通过软件在GridWare的资源信息管理模
块中实现，GridWare根据资源信息数据库中的用户信息对用户进行身份识别。网格用户
的口令在资源信息数据库中进行加密存储，网格用户在输入正确的口令后，根据此用户
的类
图 5. 网格用户Gunix和Gwindow在网格中有多个主机帐号
型进入对应的环境。网格数据安全通过IP加密机硬件实现。网格用户到网格结点之间、
网格结点到网格结点之间均使用IP加密机进行数据的加密和解密。GridWare根据用户的
类型对网格用户进行相应的访问控制。在NHPCE中，用户访问控制主要通过资源信息管理
模块中LDAP底层支持系统来完成。
5 NHPCE目前的测试结点
目前NHPCE在北京、上海、长沙、合肥、西安及成都建立了网格测试结点，结点机型包括
曙光、神威、银河以及同方系统。测试结点之间使用Internet进行连接。测试结点安装
了GridWare系统软件，同时进行了网格应用系统的开发，如气象集合预报、科学数据库
和石油油藏模拟等。NHPCE已初步实现了一个稳定的、可扩展的高性能科学计算平台。
6 结论和以后的工作
NHPCE项目提出并实现了一个面向大型应用系统的、完备的元计算系统。NHPCE充分利用
我国现有的超级计算机资源，开发了高效稳定的系统软件GridWare，建立了用于科学计
算和大型生产应用的高性能计算基础设施，对于推广我国高性能计算机技术的发展、充
分利用宝贵的超级计算机资源有着重要的意义。我们认为NHPCE项目主要取得了以下的成
果，值得进一步研究和完善：
* NHPCE在元计算基础上提出并实现了一个完备的元计算系统，这个系统为大型应用系统
提供了高性能的基础平台。
* NHPCE系统软件GridWare实现了资源信息管理，用户管理，作业管理及安全与认证，解
决了元计算系统中存在的超级计算机之间异构、资源信息的动态性等关键问题，为高层
软件和网格应用提供了透明的支持。
* 在NHPCE上开发应用系统可以解决单台超级计算机不能解决或难以解决的问题。
致谢
感谢施巍松、时永红、卜冠英、黄杨、李常、赵广为、张源、卢德平、高峰、杨义军、
任建勇、任浩、刘东华、张刚和游赣梅在NHPCE设计及GridWare软件开发中所作的工作。

参考文献
[1] L. Smarr and C. Catlett, Metacomputing, Communication of the ACM, 35(199
2), pp. 44-52.
[2] T. DeFanti, I. Foster, M. Papka, R. Stevents, and T. Kuhfuss, Overview o
f the I-WAY: Wide area visual supercomputing, International Journal of Super
computer Applications, 10(1996), pp. 123-130
[3] J. Nieplocha and R. Harrison, Shared memory NUMA programming on the I-WA
Y, in Porc. 5th IEEE Symp. On High Performance Distributed Computing, IEEE C
omputer Society Press, 1996, pp. 432-441
[4] M. Norman et al., Galaxies collide on the I-WAY: An example of heterogen
eous wide-area collaborative supercomputing, International Journal of Superc
omputer Applications, 10(1996), pp. 131-140
[5] D. Diachin, L. Freitag, D. Heath, J. Herzog, W. Michels, and P. Plassman
n, Remote engineering tools for the design of pollution control systems for
commercial boilers, International Journal of Supercomputer Applications, 10(
1996), pp. 208-218
[6] T. L. Disz, M. E. Papka, M. Pellgrino, and R.Stevens, Sharing visualizat
ion experiences among remote virtual environments, in International Workshop
on High Performance Computing for Computer Graphics and Visualization, Spri
nger-Verlag, 1995, pp. 217-237
[7] C. Lee, C. Kesselman, and S. Schwab, Near-realtime satellite image proce
ssing: Metacomputing in CC++, Computer Graphics and Applications, 16(1996),
pp. 79-84
[8] C. E. Nugent, T. E. Vollman, and J. Ruml, An experimental comparison of
techniques for the assignment of facilities to locations, Operations Researc
h 16 (1968) pp. 150-173
[9] J. -P. Goux, S. Kulkarni, J. Linderoth, and M. Yoder, An enabling framew
ork for master-worker computing applications on the computational grid, avai
lable at URL: http://www.mcs.anl.gov/metaneos/papers/mw2.ps, June 2000
[10] I. Foster and C. Kesselman, editors. Computational Grids: The Future of
High-Performance Distributed Computing. Morgan Kaufmann Publishers: 1998
[11] I. Foster and C. Kesselman, Globus: A Metacomputing Infrastructure Tool
kit, International Journal of Supercomputer Applications, 11(2):115-128, 199
7
[12] The OpenLDAP Project, http://www.openldap.org

--


<<社会契约论>>是一本好书,应当多读几遍
风味的肘子味道不错,我还想再吃它

※ 来源:·哈工大紫丁香 bbs.hit.edu.cn·[FROM: 202.118.230.220]

Algorithm 版 (精华区)