作 家: pony (找不着道的小马) on board 'ECE'
题 目: 千兆位网络技术发展状况及关键技术
来 源: 哈尔滨紫丁香站
日 期: Wed Sep 10 11:22:07 1997
出 处: xmgu@hitcrc.hit.edu.cn
千 兆 位 网 络 技 术 发 展 状 况 及 关 键 技 术
苏 金 树 卢 锡 城
一、 概 述
高 性 能 交 互 式 网 络 应 用 需 要 千 兆 位(Gigabit)
网 络。 目 前, 数 据 网 络 上 的 应 用 对 延 迟 及 带 宽 不
太 敏 感,TCP/IP 能 够 自 动 识 别 延 迟 的 变 化,E-mail、FTP
等 都 能 够 动 态 地 适 应TCP 所 提 供 的 带 宽。 很 少 有 人
去 计 较 文 件 传 输 快 慢 的 细 微 区 别。 然 而, 对 于 交
互 式 应 用, 尤 其 是 基 于X-Windows 和 多 媒 体 的 远 程 应
用, 需 要 高 速 网 络 来 支 撑 大 量 报 文 的 传 输。 对 于
分 布 式 文 件 系 统, 如 网 络 文 件 系 统(NFS), 客 户 经
常 需 要 向 文 件 服 务 器 请 求 一 大 块 数 据, 客 户 端 的
应 用 紧 紧 依 赖 于 网 络 的 传 输 时 间。 随 着 处 理 机 速
度 的 提 高, 根 据Amdahl 定 律 所 述, 每 条 指 令 至 少 需 要
一 个 位 的I/O。 由 于 处 理 机 周 期 将 接 近1ns 级, 有 的 研
究 人 员 已 经 提 出 每 条 指 令 需 要64 位 或128 位( 含 指 令
及 数 据) 的I/O。 对 于 这 样 的 系 统, 自 然 需 要 千 兆 位
以 上 的 千 兆 位 网 络。 为 此, 本 文 将 千 兆 位 网 络 定 义
为 千 兆 位 以 上。
基 于 千 兆 位 网 络 的 分 布 式 计 算 需 要 千 兆 位 网
络。 如 卡 内 基 - 梅 隆 大 学 利 用HIPPI 连 接Cra\y-MP 及CM-2
计 算 机, 以 处 理 大 型 化 工 厂 的 任 务 调 度。 再 如, 加
利 福 尼 亚 大 学 洛 杉 矶 分 校(UCLA) 的 研 究 人 员 利 用
CM-2 及 另 一 超 级 并 行 机 进 行 海 洋 与 大 气 层 交 互 作
用 的 并 行 处 理 模 型 的 研 究, 目 的 在 于 模 拟 几 十 年
的 长 期 天 气 效 益, 每 单 元 计 算 时 间 约 为100ns, 交 换
数 据 约5MB 至10MB。 以 上 这 些 计 算 显 然 需 要Gigabit 网 络。
二、 国 外 千 兆 位 网 络 研 究 状 况
展 望 未 来 的 计 算 机 系 统, 它 将 由 每 秒 处 理Gb
级 数 据 的 强 大 处 理 器、每 秒 处 理 千 兆 位 数 据 的 磁 盘
阵 列 和 图 形 系 统( 如30 帧/ 秒、1024 ×1024 ×32/ 帧 的 彩
色 图 形) 以 及 千 兆 位 级 网 络 构 成。
目 前, 数 据 通 信 较 多 地 着 眼 于 解 决 主 机 间 数
据 通 信 及 协 议 体 系 的 互 通 问 题, 对 性 能 保 证 考 虑
的 不 多。 由 于 计 算 机 技 术 的 进 步, 人 们 同 时 期 望 增
强 网 络 功 能, 例 如 远 隔 千 里 的 不 同 机 器 间 的 电 视
会 议 功 能 等,这 不 仅 要 求 有 高 速 的 网 络, 而 且 要 有
合 适 的 互 连 协 议。
随 着 计 算 机 技 术 的 发 展, 电 信 网 络 也 出 现 了
四 大 变 化, 即 电 信 网 络 被 越 来 越 多 地 用 于 传 输 数
据; 电 信 部 门 正 在 提 供 越 来 越 多 的 非 话 务 服 务;
电 话 网 络 数 字 化; 电 话 网 络 的 内 在 属 性 正 在 悄 悄
发 生 变 化。通 信 介 质 的 迅 速 光 纤 化 为 数 据 通 信 打
下 了 基 础。
计 算 机 技 术、 网 络 通 信 技 术 和 电 信 技 术 的 迅
猛 发 展 及 融 合, 使 三 者 间 的 结 合 更 加 紧 密。 最 典
型 的 例 子 是 美 国 的 千 兆 位 级 验 证 环 境 研 究 小 组 均
是 由 这 三 个 领 域 的 研 究 人 员 共 同 组 成 的。 另 外,
ATM 也 是 例 证 之 一, 它 最 早 的 设 计 目 标 是 支 持 话 音
及 数 据, 而 目 前 使 用 最 广 泛 的 是 计 算 机 网 络 领 域。
Gigabit 网 络 的 研 究 不 仅 是 大 学 实 验 室 里 的
小 规 模 学 术 研 究, 大 多 数 研 究 队 伍 的 规 模 较 大,
有 的 甚 至 是 一 个 机 构 的 独 立 组 织, 如AT&T 的LuckyNet,
有 些 则 由 多 个 机 构 的 成 员 组 成, 如Aurora。 它 们 大
多 数 已 建 立 了 实 验 式Gigabit 网 络, 也 称 为 验 证 环
境(Testbed)。 其 中 最 著 名 的 是 美 国 的 五 个 验 证 环
境, 它 们 大 部 分 由NSF 及ARP 资 助, 构 成 了 美 国Gigabit
的 主 要 研 究 活 动。 下 面 介 绍 一 些 有 关 千 兆 位 网 络
的 研 究 项 目。
1.德 国 的RERKOM 研 究 环 境 中 铺 设 了 大 量 光 纤,
购 置 了 高 速 网 及 高 性 能 工 作 站。 目 前 主
要 研 究ATM 技 术。
2.AT&T 与 加 利 福 尼 亚 大 学 伯 克 利 分 校、
Illinois 大 学 和Wisconsin 大 学 等 联 合 启 动 了
实 验 大 学 网 络(XUNET), 研 究 基 于 信 元 的
广 域 网 计 划。1990 年XUNET 扩 展 为Blanca 验 证
环 境。 其 研 究 内 容 十 分 广 泛, 主 要 有 呼
叫、 多 路 复 用、 拥 塞 控 制、 计 算 机 与 网 络
界 面( 如 超 级 计 算 机 的 整 合、 网 络 虚 拟 存
储 机 制) 及Gigabit 应 用 等。 该 工 程 已 产 生
了 不 少 有 趣 的 结 果, 包 括 对 多 媒 体 协 议 的
支 持、 拥 塞 控 制 与 回 避。在XUNET 工 程 中, 也
有 来 自 哥 伦 比 亚 大 学、 宾 夕 法 尼 亚 大 学 的
研 究 人 员。NCSA(National Center for Supercomputing
Applications) 的Catlell 是 当 今 高 速 应 用 的 专
家,AT&T 的Fraster 是 信 元 网 络 的 专 家。
3.Aurora 是 位 于 美 国 东 部 的 测 试 环 境, 其 中
配 置 了Bellcore Sunshine ATM 交 换 机 及IBM 的PlaNET
交 换 机。 测 试 环 境 与 工 作 站 连 接, 进 行 网 络
协 议、 应 用、 分 布 式 系 统 方 法 学、 工 作 站 操
作 系 统 及 性 能 保 证 等 方 面 的 研 究。 杰 出 的
工 作 有ATM 纠 错、 流 和 拥 塞 控 制、 协 议 体 系 结
构 及ATM 协 议 接 口 等。
4.美 国 的Nettar 主 要 研 究Gigabit 网 络 应 用, 其 研
究 成 员 来 自Pittsburgh。 他 们 利 用HIPPI 开 关 及
ATM/SONET 连 接HIPPI 开 关, 并 将CMU 的 各 种 计 算
机 与Pittsburgh 的 巨 型 计 算 机 互 连, 主 要 研 究
异 构 系 统 分 布 处 理 性 能 中 协 议 及 操 作 系 统
的 设 计。
5.美 国 的CASA 建 立 于1990 年, 它 是 美 国ARPA/NSF 的
一 个 测 试 试 验 基 地。 主 要 研 究 分 布 式 超 级
计 算 机, 并 连 接 了 美 国 西 部 的 主 要 超 级 计
算 机 实 验 室, 如Los Alamos 国 家 实 验 室、California
技 术 学 院(CalTech)、SanDigo 超 级 计 算 机 中 心
(SDSC) 及Jet Propulsion 实 验 室(JPC) 等。 正 在 研
究 的 应 用 项 目 主 要 包 括 超 级 计 算 机 间 基 于
网 络 的 通 信、 采 用 大 量 数 据 的 化 学 反 应 计
算、 交 互 式 地 理 应 用 及 气 象 预 报 等。 该 工 程
主 要 利 用SONET OC-3 长 途 线 路 连 接LANL(Los Alamos
National labortory)、JPC、CalTech 及SDSC 等。
除 了 上 述 典 型 的 千 兆 位 网 络 研 究 项 目 外,
还 有 英 国 的 剑 桥 大 学、SuperJANET、ACORN(Advanced Comm.
Organization for Research Network)、VISANet, 以 及XEROX、
HP、DEC、NASA 等 联 合 组 成 的BAGNET (Bay Area Gigabit
Network)。
三、 千 兆 位 网 络 的 基 础 技 术
千 兆 位 网 络 的 发 展 与 光 纤 通 信 技 术 紧 密
相 关, 光 纤 通 信 技 术 是 千 兆 位 网 络 的 基 础。 光
纤 具 备 长 距 离 的 每 秒 传 送 若 干 个 千 兆 位 的 能 力,
同 时, 误 码 率 非 常 低,这 为 千 兆 位 网 络 的 发 展 打
下 了 基 础。 光 纤 通 信 中 两 个 重 要 的 基 础 技 术
是SONET 与WDN。
SONET 是 电 信 标 准SDH 簇 的 一 个 重 要 组 成 部
分, 它 的 目 的 是 代 替 传 统 电 缆 主 干 线 路 的 话 路
信 令。 许 多 研 究 人 员 认 为, 电 信 行 业 将 逐 步 采
用SONET 帧 格 式。 发 展SDH 的 目 的 是 改 变 目 前 低 速
链 路 上 三 种 标 准 的 现 状( 美 国 标 准、 日 本 标 准
和ITU 标 准)。 例 如, 美 国 采 用T1 标 准 将24 个64kb/s
的 话 音 电 路 复 路 复 用 到1.5Mb/s 的 链 路 上, 而ITU
则 将32 个 话 音 电 路 复 用 到 速 率 为2Mb/s 的E1 电 路
上。 而 人 们 希 望 在 高 速 链 路 上 只 有 一 种 复 用 标
准。SONET 是 按 帧 传 递 数 据, 在 逻 辑 上 每 帧 由90 列
×9 行 字 节 组 成, 对 于OC-n 的 数 据 速 率, 传 送 单
位 为n 帧, 单 个OC-n 的 帧 由n 个OC-1 帧 组 成。SONET 的
前 三 列 用 于 传 送 开 销 信 息。
与SONET 截 然 不 同 的 另 一 种 技 术 是 波 分 多
路 复 用(WDM)。 它 利 用 光 纤 的 特 殊 性 质 来 建 造
新 型 数 据 网 络。WDM 的 基 本 原 理 是 将 光 纤 带 宽
分 为 多 个 通 道, 并 将 欲 通 信 的 主 机 调 节 到 特
殊 的 通 道。 这 种 调 节 可 以 预 分 配, 也 可 以 将 接
收 器 或 发 送 器 调 节 到 指 定 的 通 道。WDM 的 主 要
优 势 在 于, 它 可 以 克 服 光 电 信 号 转 换 目 前 只
能 达 到 千 兆 位 级 的 局 限。WDM 的 目 标 是 通 过 不
同 波 长 的 多 种 并 行 光 电 设 备 来 充 分 发 挥 光 纤
的 容 量。 有 人 将 其 称 为Tb/s 网 络。 由 于 数 据 通
信 领 域 的 速 率 一 般 指 单 节 点 能 达 到 的 速 率。
因 此,WDM 网 络 也 是 千 兆 位 网 络。WDM 的 主 要 的
研 究 课 题 是:
如 何 使 确 认 通 道 所 需 的 时 间 最 少。
如 何 使 用 户 数 据 的 传 输 时 间 最 长。
对 光 纤 带 宽 的 有 效 利 用, 尽 可 能 压 缩 不
同 频 率 通 道。
多 跳(Multihop)WDM 网 络 的 体 系 结 构。
四、 千 兆 位 级 信 元 网 络 技 术
近 年 来, 信 元 网 络 技 术 得 到 了 迅 速 的 发
展, 尤 其 是 它 的 特 殊 形 式 ——ATM 技 术。 信 元 网
络 可 以 减 少 目 前 电 信 行 业 网 络 种 类 过 多 的 现
状,易 于 支 持 多 目 广 播, 为ISDN 提 供 更 高 速 率
的 多 路 复 用 机 制。
信 元 网 络 技 术 主 要 分 为 局 域 信 元 网 络 和
广 域 信 元 网 络 技 术。
广 域 信 元 网 络 由 高 速 信 元 交 换 机 互 连 的
高 速 链 路 组 成。 数 据 链 路 传 送 信 元, 交 换 机 的
任 务 就 是 路 由 信 元。 所 以, 广 域 信 元 网 络 的 主
要 任 务 是 设 计 信 元 交 换 机。 信 元 交 换 机 有 多 种,
如Canonical 信 元 交 换 机、Crossbar 及Knockout 集 中 器、
Gauss 交 换 机、Banyan 交 换 机、Batcher Sorting 网 络、
Starlite、Sunshine 等。 信 元 交 换 机 主 要 研 究 体 系
结 构 及 缓 冲 策 略, 以 及 端 口 控 制 器 的 性 能 价 格
比, 这 在 交 换 机 的 价 格 中 占 相 当 比 重。
千 兆 位 局 域 信 元 网 络(LACN) 技 术 旨 在 连 接
园 区 或 大 楼 内 的 端 系 统,如 计 算 机 磁 盘 阵 列、
视 频 服 务 器 等。LACN 主 要 分 为 共 享 介 质 和 局 域
信 元 交 换 网 络, 前 者 基 于 总 线 或 环,后 者 与 广
域 信 元 网 络 的 主 要 区 别 在 于 它 面 向 较 近 距 离 的
端 系 统。
共 享 介 质 的LACN 系 统 主 要 有: 由 剑 桥 大 学
与Olivetli 研 究 中 心 联 合 开 发 的Combridge Backboce、
剑 桥 骨 干 网(Ring) 以 及 HP 实 验 室 研 究 的Hanman,
它 综 合 了CBR 及DQDB。 另 外 还 有Bell 实 验 室 研 究 的
MSN(Manhatlan Strect Network)。 基 于 交 换 的LACN 主 要 有
DEC 提 出 的AN2、Cisco 的ASX-200、Bay Network 的Bay 5000+ 等。
信 元 网 络 的 主 要 研 究 课 题 有:
1.信 元 网 络 的 路 由 技 术 如 源 路 由、 逐 站 路 由。
2.路 由 的 主 要 挑 战 如 何 保 证 路 由 信 息 既 少 又
快, 以 适 应 信 元 开 销 有
3.限 及 高 速 数 据 链 路 的 特 点。
4.信 元 网 络 的 适 应 层 协 议 适 应 层 主 要 研 究 对
应 用 系 统 的 支 撑。
5.信 元 网 络 错 误 恢 复 机 制 研 究 错 误 模 型 及 信
元 恢 复 机 制。
ATM 是 一 种 特 殊 的 信 元 技 术。 基 于ATM 技 术
的 千 兆 位 网 络 主 要 研 究 课 题 是:
1.ATM 路 由 技 术 ATM 路 由 协 议 用 于 指 导ATM 信 令
请 求 通 过ATM 交 换 机 网 络, 从 而 建 立SVC。
2.ATM 路 由 和 交 换 机 到 交 换 机 信 令 协 议 的 组
合 定 义 了 交 换 机 间 的 互 操 作 性。
3.ATM 防 火 墙 这 是 指 建 立 在 交 换 机 中 的 基 于
特 定ATM 地 址 或 地 址 前 缀 过 滤 信 令 请 求 的 机 制。
4.信 息 流 量 管 理 机 制
5.缓 冲 与 拥 挤 控 制 ABR 是 一 个 非 常 复 杂 的 规
范, 具 有 多 种 操 作 模 式, 它 定 义 了 源 与 目
的 端 系 统 和 中 间 交 换 机 的 行 为。
6.易 管 理 性
五、 千 兆 位 报 文 网 络 技 术
路 由 设 备 的 主 要 功 能 由 三 部 分 组 成。 一 是
若 干 网 卡,用 于 连 接 到 各 种 网 络 上; 二 是 若 干 个
判 断 路 由 的 转 发 处 理 器; 三 是 连 接 组 织, 连 接 网
络 接 口 及 转 发 处 理 器, 并 在 接 口 间 实 现 由 转 发
处 理 器 决 定 的 路 由 方 向 所 需 的 数 据 传 输。 为 了
达 到 千 兆 位 级 报 文 传 递 的 速 率, 三 部 分 都 必 须
在 千 兆 位 级 工 作。
数 据 拷 贝 也 是 一 个 极 具 挑 战 的 问 题。 对 于
支 持 几 个 端 口 的 路 由 器 或 交 换 机, 每 个 端 口 支
持Gb 级, 那 么, 在 最 坏 的 情 况 下, 则 需 要 具 有 每
秒 几 倍Gb 的 能 力。 信 元 网 络 通 过 并 行 移 动 数 据
来 解 决 这 个 问 题。 信 元 的 长 度 固 定, 要 设 计 一
个 适 合 于 不 同 长 度 的 并 行 机 报 文, 其 难 度 是 可
想 而 知 的。 报 文 交 换 机 穿 过 交 换 机 的 每 一 级
都 是 不 相 同 的,从 而 可 能 增 加 交 换 产 生 的 冲 突
并 降 低 利 用 率, 为 此, 到 目 前 为 止, 还 没 有 人
企 图 去 设 计 一 个 千 兆 位 报 文 交 换 网 络, 而 一
般 采 用 特 殊 总 线 实 现 报 文 转 发。
报 文 交 换 网 络 主 要 有 采 用 环 状 总 线 的
IBM PlaNET, 支 持 以 源 路 由 为 主 的 路 由 机 制。AT&T
的Bell 实 验 室 也 开 发 了 一 个 千 兆 位 级IP 路 由 器,
其 基 本 原 理 是 采 用 多 个 专 用 处 理 器 转 发 报 文。
六、 千 兆 位 网 络 的 主 机 技 术
要 实 现 千 兆 位 网 络, 主 机 系 统 也 面 临 着
一 系 列 问 题, 最 重 要 的 是 保 持 网 络 带 宽; 其 次
是 主 机 网 络 软 件; 三 是 为 了 实 现 网 络 性 能 保
证, 操 作 系 统 所 必 须 提 供 的 功 能; 四 是 高 速 网
络 协 议, 最 后 是 高 效 实 现 问 题。主 机 网 络 实 现
的 开 销 主 要 体 现 在 网 络 接 口、 主 要 操 作 系 统 和
网 络 应 用 程 序 之 间 的 数 据 移 动 开 销。 目 前, 移
动 及 拷 贝 数 据 的 相 对 费 用 呈 上 升 趋 势, 尤 其 是
RISC 处 理 机, 其 主 要 原 因 是 存 储 器 速 度 与 处 理
器 速 度 的 发 展 不 相 匹 配。 虽 然 超 标 量、 记 分 牌
等 技 术 可 以 进 行 部 分 改 进, 但 对 拷 贝 大 量 数 据
, 如 大 报 文 等 用 处 不 大。 因 此, 如 何 减 少 大 量
数 据 拷 贝 所 引 发 的 开 销 是 操 作 系 统 研 究 的 重
要 课 题。
层 次 化 网 络 实 现 所 带 来 的 两 个 负 作 用 也
是 千 兆 位 研 究 的 重 要 问 题。其 一 是 降 低 了 性 能;
其 二 是 引 发 了 不 必 要 的 数 据 拷 贝, 如 在BSD 版
本 中 高 层 必 须 保 留 一 份 数 据 拷 贝 等。 有 关 减
少 负 作 用 的 研 究 较 为 广 泛,如Jacobin 提 出 的
WITLESS 接 口 技 术(Workstation Interface That's Low-lost
Efficient、Scalable and Stupid),HP 公 司 也 作 了 一 些
研 究,如After Burner 结 构 等。
有 关 千 兆 位 网 络 软 件 的 研 究, 主 要 有 以 下
几 个 方 面:
1.快 速 路 由 表 查 找 技 术;
2.减 少 检 查 的 开 销;
3.转 移 预 测 技 术;
4.面 向 大 量 飞 行 数 据 的 流 控 及 拥 塞 控 制;
5.开 环 式 流 控 机 制 以 及 流 协 商 机 制;
6.面 向 新 型 应 用 的 闭 环 式 流 控 机 制 的 改 进。
有 关 千 兆 位 网 络 主 机 硬 件 的 研 究,
主 要 有 以 下 两 方 面:
1.板 上 处 理 器 结 构, 它 是 一 种 多 处 理 机 系
统 的 特 殊 形 式,总 的 设 想 是 在 网 络 接 口
中 嵌 入 微 处 理 器, 并 在 接 口 处 理 机 上 完
成 高 层 协 议 处 理, 以 减 轻 主 处 理 机 协 议
处 理 的 负 荷。 并 不 是 所 有 带 处 理 机 的 网
卡 都 能 使 主 机 获 得 更 好 的 性 能。 该 课 题
主 要 研 究 主 机 与 网 络 间 的 配 合 关 系 以
及 性 能 价 格 比 合 理 的 板 上 处 理 机。
2.适 合 于 千 兆 位 级 的 网 卡 硬 件 结 构 主 要
为 减 少 整 体 开 销 提 供 支 持。例 如 采 用 直
接 映 射 方 法, 将 网 卡 存 储 器 作 为 主 存
储 器 的 一 部 分,实 现 用 户 数 据 到 网 卡 的
直 接 拷 贝。 采 用WTLESS 结 构 以 及 带DMA 的
Copy-on-Write 虚 拟 存 贮 共 享 技 术 等。
除 此 之 外, 还 有 一 些 因 素 直 接 影 响 效 率,
尤 其 是 小 报 文 的 收 发。 这 些 因 素 主 要 是: 转
移 预 测 失 败、 上 下 文 切 换 及 中 断。 上 下 文 切
换 主 要 是 指 停 止 正 在 执 行 的 指 令, 保 留 状 态,
并 加 载 新 任 务 的 状 态 及 代 码。状 态 与 代 码 的
改 变 就 意 味 着 上 下 文 切 换。
SMP 关 于 解 决 网 络 性 能 方 面 的 研 究 刚 刚
起 步, 主 要 是 协 议 处 理 所 需 要 做 的 工 作 较 少。
多 个 处 理 机 同 时 处 理 报 文, 其 好 处 可 能 小 于
所 引 起 的 开 销, 而 采 用SMP 的 不 同 处 理 机 处 理
不 同 的 报 文 值 得 重 视。 由 于 非 共 享 主 存 多 处
理 系 统 发 送 时 需 要 搜 集 分 散 在 多 个 处 理 机
的 数 据, 接 收 时 需 要 分 发 数 据, 由 此 带 来 的
开 销 造 成 了 网 络 性 能 的 下 降, 经 过 测 试 有 时
比 一 般 单 机 性 能 还 差。
七、 千 兆 位 级 网 络 协 议
研 究 表 明, 目 前 的 协 议 可 以 实 现 千 兆 位
级 的 接 收 与 发 送, 但 是 数 据 报 文 协 议 不 能 满
足 千 兆 位 网 络 的 需 要, 主 要 原 因 是 缺 乏 性 能
保 证, 传 统 文 件 传 输 可 以 适 应 带 宽 的 变 化,
而 视 频 则 会 因 带 宽 的 骤 然 减 少 而 严 重 失 真。
我 们 认 为 国 内 目 前 已 具 备 开 展Gb/s 网 络
的 条 件。 例 如 选 择Gb/s 级 信 元 网 络 作 为Gb/s 网 络
的 研 究 起 点。 可 喜 的 是,我 们 已 经 看 到 国 内 一
些 研 究 单 位 开 始 着 手 千 兆 位 计 算 机 网 络 相 关
技 术 的 研 究 工 作。
中国计算机世界出版服务公司版权所有
--
※ 来源:·哈尔滨紫丁香站 bbs1.hit.edu.cn·[FROM: xmgu@hitcrc.hit.edu.]
Powered by KBS BBS 2.0 (http://dev.kcn.cn)
页面执行时间:206.728毫秒