Algorithm 版 (精华区)

发信人: ssos (存在与虚无·戒酒戒网), 信区: Algorithm
标  题: 网格计算
发信站: 哈工大紫丁香 (2001年11月14日12:45:42 星期三), 站内信件

----------------------------------------------------------------------------
----
高性能计算的应用需求使计算能力不可能在单一计算机上获得，因此，必须通过构建“
网络虚拟超级计算机”或“元计算机”来获得超强的计算能力。20世纪90年代初，根据
Internet 上主机大量增加但利用率并不高的状况，美国国家科学基金会（NFS）将其四
个超级计算中心构筑成一个元计算机，逐渐发展到利用它研究解决具有重大挑战性的并
行问题。它提供统一的管理、单一的分配机制和协调应用程序，使任务可以透明地按需
要分配到系统内的各种结构的计算机中，包括向量机、标量机、SIMD和MIMD型的各类计
算机。NFS元计算环境主要包括高速的互联通信链路、全局的文件系统、普通用户接口和
信息、视频电话系统、支持分布并行的软件系统等。
元计算被定义为“通过网络连接强力计算资源，形成对用户透明的超级计算环境”，目
前用得较多的术语“网格计算(grid computing)”更系统化地发展了最初元计算的概念
，它通过网络连接地理上分布的各类计算机（包括机群）、数据库、各类设备和存储设
备等，形成对用户相对透明的虚拟的高性能计算环境，应用包括了分布式计算、高吞吐
量计算、协同工程和数据查询等诸多功能。网格计算被定义为一个广域范围的 “无缝的
集成和协同计算环境”。网格计算模式已经发展为连接和统一各类不同远程资源的一种
基础结构。
网络计算技术
1．基本结构
为实现网格计算的目标，必须重点解决三个问题：
⑴异构性：由于网格由分布在广域网上不同管理域的各种计算资源组成，怎样实现异构
机器间的合作和转换是首要问题。
⑵可扩展性：要在网格资源规模不断扩大、应用不断增长的情况下，不降低性能。
⑶动态自适应性：在网格计算中，某一资源出现故障或失败的可能性较高，资源管理必
须能动态监视和管理网格资源，从可利用的资源中选取最佳资源服务。
网格计算环境的构建层次从下至上依次为：
(1) 网格结点：由分布在Internet上的各类资源组成，包括各类主机、工作站甚至PC机
，它们是异构的，可运行在Unix、NT等各种操作系统下，也可以是上述机型的机群系统
、大型存储设备、数据库或其他设备。
(2) 中间件：是网格计算的核心，负责提供远程进程管理、资源分配、存储访问、登录
和认证、安全性和服务质量（QoS）等。
(3) 开发环境和工具层：提供用户二次开发环境和工具，以便更好地利用网格资源。
(4) 应用层：提供系统能接受的语言，如HPC++和MPI等。可配置其他一些支持工程应用
、数据库访问的软件，还可提供Web服务接口，使用户可以使用Web 方式提交其作业并取
得计算结果。
2．基本功能
网格计算环境要求不影响各结点本地的管理和自主性，不改变原有的操作系统、网络协
议和服务，保证用户和远程结点的安全性，允许远程结点选择加入或退出系统，尽量使
用已存在的标准的技术，以便与已有的应用兼容，并能提供可靠的容错机制。一个理想
的网格计算应类似当前的Web服务，可以构建在当前所有硬件和软件平台上，给用户提供
完全透明的计算环境。对用户而言，它把众多同、异构的资源变成了同构的虚拟计算环
境。为此，网格计算环境设计需要有以下主要特征：
·管理层次 确定管理层次体系，管理域按区域层次划分，决定管理信息流的流向；
·通信服务 随应用目的的不同提供不同的服务，包括可靠的点对点和不可靠的组播通信
，支持各种通信协议，提供通信链路延迟、带宽和可靠性等指标；
·信息服务 提供方便可靠的机制，获得不断变化的各结点信息和状态；
·名字服务 提供全局统一的名字服务，典型的有国际通用的X.50标准或Internet上DNS
标准；
·文件系统 提供一个分布式文件系统机制、全局存储和缓存空间；
·安全认证 应包括登录认证、可信赖、完整性和记账等方面的安全性，这是网格计算的
难点，也是系统成败的关键；
·监视系统 提供监视系统资源和运行情况的工具；
·资源管理和调度 提供透明的资源调度，高效地利用可利用的资源是系统的核心；
·资源交易机制 为鼓励不同组织或资源拥有者加入系统，应提供一种计算资源的交易机
制，允许提供资源者获得利益，使系统能动态地取得最好的性价比资源；
·编程工具 必须提供丰富的用户接口和编程环境，提供最常用的语言，如C、C++、FOR
TRAN、MPI、PVM以及分布式共享存储器和一些函数库等；
·用户图形界面 提供直观的用户访问接口，包括Web方式，使用户可以在任何位置、任
何平台上使用系统资源。
3．网格计算项目
由于网格计算环境可以连接广域范围内不同标准的异构 “孤岛”，形成庞大的全球性计
算体系，是Internet发展的高级形式，因此，受到世界各国和组织的高度重视，已经开
展了许多论坛、实验环境和研究项目，它们大多数都是在网上共享的，极大地方便了人
们研究和利用有关资源，如网格计算论坛（http： //www.gridforum.org）旨在促进推
广相关的技术。较有代表性的网格计算项目包括：实验床（http：//www.distributed.
net；http：//www.setiathome.ssl.berkeley.edu）、Globus项目（http：//www.glob
us.org）、Legion项目（http：//legion.virginia.edu）、Globe项目（http： //cs.
vu.nl/~steen/globe）、NetSolve项目（http：//www.cs.utk.edu/netsolve）、Javal
in项目（http：//www.cs.ucsb.edu/research/javalin）等，可简单地分成有代表性的
两类：
(1) Globus项目
提供基础的软件集成分散的异构资源，形成一个单一的计算环境。其核心是Globus元计
算工具包（GMT），这是一个构筑网格计算环境的中间件，提供基本的资源定位、管理、
通信和安全等服务。GMT是模块化的，允许用户按自己的需要定制环境（Globus的模块组
成将在后面详细介绍）。
一种简单的Globus配置如下：
客户端 配置远程计算的API接口库、访问信息和通信等接口；
服务端 资源分配管理器（GRAM）、资源监视器；
集中服务 目录服务、认证服务、信息收集监视器等。
(2) 基于Java的网格计算
Java语言和相关技术成功地解决了困扰网格计算的几个关键问题，如异构性和安全性，
另一个重要的优势是Java程序的最小执行环境可以在Web 浏览器中执行而不需要另外安
装软件，因此，理论上全球任意一台装有Web浏览器的机器都可以进行全球计算。尽管J
ava平台还存在效率低等问题，但它无疑将大大影响网格计算模式的发展，使实现全球分
布式计算已不再是一个梦想。
下面介绍Javalin项目的工作原理。
Java结构建立在Internet网络层上，通过扩展HTTP Server的功能来实现下述功能：
·客户结点向HTTP服务器上载包含有任务Applet的HTML主页；
·客户结点向集中服务器登记相应的UML地址；
·服务结点向集中服务器请求任务，得到相应任务的URL；
·服务结点从HTTP服务器下载HTML页，运行嵌入的Applet；
·客户结点得到回送的执行结果。
实例：Globus系统
Globus是一个多研究机构联合开发的项目，它力图实现计算网格结构，来提供对高性能
远程计算资源普遍的、可靠的、一致性的访问。目前的Globus 可以认为是计算网格技术
的典型代表和事实上的规范。Globus最核心的部分就是它的元计算工具包，其中定义了
构建计算网格最基础的服务。Globus构建了一个如图所示的虚拟元计算机。
1．元计算实验床
图示的底层是Globus的元计算测试床和实验系统，具体来说，它们是网络连接的一些有
组织的计算网格结点，其中最著名的有I-WAY和GUSTO。 I-WAY是Globus的较简化系统，
用于气象卫星的实时图像处理。在这个应用中，卫星中的数据下载后，进入一个远程超
级计算机进行云层检测处理，然后再由另外一个图形处理机进行气象图绘制。这些处理
均在地理上分布的多台机器上实现。I-WAY成功地验证了Globus 系统一些基本构件和机
制。
GUSTO在很多方面都被认为是1998年以前最大的计算网格实验床。该实验床最初通过专用
多模光纤和Internet连接17个站点、330个计算机和 3600个处理器。目前，GUSTO站点遍
布整个美国大陆、夏威夷、瑞典和德国等，附加站点还在不断增加。
2．Globus工具包构件
中间层是Globus的工具包模块，也是Globus的核心服务，主要包括7个部分，如下表所示
。
3．高级服务
虽然Globus的工具包可以被应用程序直接调用，但仍然可以通过更高层的工具调用。Gl
obus提供了自己的一些高级服务，可以实现对下一层服务的调用，这些高级服务最终的
目标是形成一个Globus的“适应性广域范围资源环境” （AWARE）。同时，Globus也支
持其他高级调用，例如基于消息传递的MPI、高级并行编程语言C++、远程文件访问系统
Remote I/O等。Globus工具包支持这些高级应用来间接调用Globus的核心服务。
Globus从底层构建了元计算软件，开发了一些基本的服务和机制，并可以由多种高级工
具调用。随着更多的元计算团体加入Globus的研究，它将被开发得更加完善，并将被更
多的高级应用软件调用。Globus的目标是适应广域网络资源环境的计算，目前这一类课
题的研究还很艰巨，Globus作为网格计算中最突出的代表，仍然存在着大量问题需要进
一步研究。
网格计算可以合理而有效地将远程资源高效地组织起来，形成“网络虚拟计算机”，以
获得超强的计算能力。相对于机群计算环境，它具有范围更广、功能更强大、组织和管
理更复杂的特点。同时，由于网络环境的异构性、可扩展性和网络虚拟环境的动态自适
应特征，使这类系统在开发软件、并行工具和应用程序方面都存在着较大的挑战。

--

   
<<社会契约论>>是一本好书,应当多读几遍
风味的肘子味道不错,我还想再吃它      

※ 来源:·哈工大紫丁香 bbs.hit.edu.cn·[FROM: 202.118.230.220]