SoftEng 版 (精华区)
发信人: Sun (大灯泡), 信区: SoftEng
标 题: 软件质量评价
发信站: 紫 丁 香 (Mon Apr 3 08:21:02 2000), 转信
发信人: Joaquin (maverick), 信区: SoftEng
标 题: 软件质量评价
发信站: BBS 水木清华站 (Tue Nov 18 21:39:42 1997)
软 件 质 量 评 价
── ISO／IEC 14589系 列 标 准 概 要
随 着 信 息 技 术 的 发 展 和 软 件 应 用 的 日 益 普 及 ， 人 们 对 软
件 质 量 问 题 的 关 注 也 日 益 增 强 。 尤 其 是 在 一 些 重 要 场 合 ， 软
件 失 效 会 带 来 重 大 的 经 济 损 失 。 在 历 史 上 ， 由 于 软 件 质 量 所
造 成 的 灾 难 性 事 故 屡 见 不 鲜 ， 人 们 对 此 仍 记 忆 犹 新 。 因 此 ，
人 们 迫 切 需 要 知 道 这 些 软 件 的 质 量 水 平 。 如 何 评 价 软 件 的 质
量 就 成 了 软 件 领 域 的 一 项 重 要 的 研 究 课 题 。
经 过 软 件 工 作 者 长 期 不 懈 、 卓 有 成 效 的 工 作 ， 国 际 社 会 在
软 件 质 量 评 价 方 面 取 得 了 一 些 重 要 成 果 ， 提 出 了 许 多 评 价 软
件 质 量 的 方 法 ， 尤 其 是 在 ISO/IEC 9126 系 列 标 准 中 所 提 出 的 软 件
质 量 特 性 和 子 特 性 ， 以 及 内 部 质 量 度 量 和 外 部 质 量 度 量 的 概
念 ， 为 软 件 质 量 评 价 奠 定 了 基 础 ， 也 为 制 定 软 件 质 量 评 价 标
准 提 供 了 依 据 。
有 关 软 件 质 量 评 价 方 面 的 国 际 标 准 正 在 制 定 中 ， 其 编 号 为
ISO/IEC 14598 系 列 ， 这 一 系 列 标 准 计 划 由 五 部 分 构 成 ， 本 文 将 就
这 一 系 列 标 准 的 内 容 作 一 概 要 介 绍 。
一 、 总 则
正 在 制 定 中 的 软 件 质 量 评 价 系 列 国 际 标 准 描 述 了 对 软 件 产
品 的 质 量 进 行 评 价 的 几 种 不 同 方 法 。 这 些 标 准 需 引 用 ISO/IEC
9126 系 列 标 准 。 这 些 标 准 在 某 些 地 方 还 引 用 了 ISO/IEC 9126系 列 标
准 中 对 质 量 特 性 的 定 义 。
二 、 概 述（ GO）
标 准 的 第 一 部 分 是“ 概 述（ GO）” 。 经 过 仔 细 的 研 讨 ， 该 系 列
标 准 很 好 地 解 释 了“ 质 量 模 式” 的 含 义 、 内 部 质 量 特 性 和 外 部
质 量 特 性 的 关 系 ， 以 及 它 们 与 子 特 性 和 特 征 的 关 系 。 标 准 中
的 方 框 图 展 示 了 ISO/IEC 9126 和 ISO/IEC 14598 系 列 标 准 中 各 个 标 准
的 相 互 关 系 ， 以 及 整 个 质 量 评 价 过 程 。
它 概 括 地 介 绍 了 系 列 标 准 中 的 其 它 标 准 ， 并 引 用 了 其 中 的
某 些 具 体 内 容 。 它 引 用 了 ISO/IEC 9126 3， 以 说 明 内 部 质 量 度 量 和
外 部 质 量 度 量 的 关 系 。 同 时 还 相 应 地 引 用 了 ISO/IEC 9126 2 ， 以
示 例 说 明 如 何 以“ 测 量 准 则” 进 行 度 量 ， 但 目 前 还 没 有 写 入 这
些 准 则 。
该 系 列 标 准 强 调 了 对 测 量 的 需 求 ， 并 指 出 测 量 必 须 是 客 观
、公 正 ， 且 可 以 复 现 的 。
该 系 列 标 准 引 用 了IEC50（ 191） 的 内 容 （ 既 不 作 为 引 用 标 准 ，
也 不 作 为 参 考 资 料） ， 并 将 可 信 性 定 义 为“ 用 户 可 合 理 地 信 赖
由 某 一 体 系 所 交 付 的 服 务 的 程 度” 。 该 定 义 已 广 为 使 用 ， 但 并
不 是IEC 50（ 191） 中 的 定 义 。
该 文 件 还 将 可 信 性 分 为 可 靠 性 、 可 用 性 和 可 维 护 性 ， 并 将
此 作 为 “ 质 量 模 式” 的 一 个 示 例 ， 将 ISO/IEC 9126 1 中 的 模 式 作
为 通 用 型 的 模 式 ， 而 将ISO9241 11［ 30 ］ 作 为 一 个 具 体 的 模 式 ，
要 点 是 应 根 据 具 体 的 质 量 评 价 的 特 定 情 况 选 择 适 宜 的 模 式 。
三 、 策 划 与 管 理（ P＆M ）
系 列 标 准 的 第 二 部 分 为 “ 策 划 与 管 理（ P＆M ）” 。 该 部 分 描
述 了 软 件 评 价 的 管 理 ， 给 出 了 测 试 计 划 的 编 制 指 南 ， 包 括 评
价 过 程 中 各 个 规 定 的 步 骤 ， 具 体 考 虑 的 要 点 以 及 书 面 测 试 计
划 的 内 容 。
四 、 开 发 人 员 的 评 价 过 程（ PfD）
系 列 标 准 的 第 三 部 分 是“ 开 发 人 员 的 评 价 过 程（ PfD）” 。 该
部 分 描 述 了 开 发 人 员 对 软 件 产 品 质 量 进 行 评 价 的 过 程 。 首 先
说 明 了 评 价 的 概 念 ， 包 括 软 件 质 量 指 示 器 ， 然 后 规 定 了 对 评
价 过 程 的 要 求 ， 包 括 对 组 织 的 要 求（ 数 据 收 集 的 反 馈 方 式 和
途 径 ） 、 项 目 的 要 求（ 如 确 定 质 量 要 求 、 确 定 内 部 和 外 部 质
量 度 量 等 ） ， 以 及 对 质 量 分 析 、 策 划 、 质 量 控 制 和 质 量 评 价
的 要 求 。
所 有 的 附 录 仅 作 参 考 。 附 录 Ａ 为 指 示 器 的 使 用 示 例 ， 它 建
议 将 某 一 时 间 段 内 对 问 题 进 行 纠 正 所 影 响 到 的 软 件 模 块 的 数
量 作 为“ 可 维 护 性” 的 指 示 器 。 附 录 Ｂ 针 对 ISO/IEC 9126 1 中
每 一 最 高 特 性 给 出 了 外 部 质 量 度 量 的 示 例 。 ISO/IEC 9126 1 将
其 分 解 为 子 特 性 ， 而 且 ， ISO/IEC 9126 3 的 外 部 质 量 度 量 还 可
适 用 于 与 这 些 子 特 性 有 关 的 更 低 级 的 特 征 。 附 录 C 给 出 了 与 每
一 最 高 特 性 有 关 的 一 些 内 部 指 示 器 度 量 的 示 例 。 附 录 D 给 出 了
在 制 定 要 求 阶 段 所 使 用 的 指 示 器 的 示 例 ， 即 将“ 每 页 评 审 中 所
发 现 的 错 误 的 数 量” 作 为“ 要 求 文 件 正 确 性” 的 指 示 器 。 附 录
Ｅ 给 出 了 参 考 文 献 。
五 、 顾 客 的 评 价 过 程（ PfA）
系 列 标 准 的 第 四 部 分 是“ 顾 客 的 评 价 过 程（ PfA）” 。 该 部 分
描 述 了 对 组 织 拟“ 购 买” 的 软 件 包（ 应 用 软 件 包 或 CASE 工 具） 进
行 评 价 的 过 程 。 评 价 将 对 软 件 在 预 期 环 境 中 使 用 时 所 带 来 的
风 险 进 行 测 量 。
“ 评 价 的 目 标” 是 指 ：
用 户 的 文 件 、 课 程 和 培 训 。
用 于 产 品 开 发 的 软 件 工 程 过 程 。
产 品 历 史 运 作 情 况 。
执 行 软 件 产 品 本 身（ 如 通 过 黑 盒 测 试 或 原 型 评 价） 。
通 过 列 表 说 明 评 价 这 些 目 标 和 在 ISO/IEC 9126 中 提 出 的 六 个 最
主 要 的 质 量 特 性 的 有 效 性（ 高 、 中 或 低） 的 费 用 。 同 时 还 提 出
了 策 划 和 实 施 评 价 的 建 议 ， 并 使 用 了“ 辅 助 评 价” 的 方 法 ， 例
如 外 部 评 价 。
六 、 评 价 者 的 评 价 过 程（PC ）
本 系 列 标 准 的 第 五 部 分 是“ 评 价 者 的 评 价 过 程（PE ）” 。 本 部
分 定 义 了 由 一 个“ 评 价 者” 如 供 方 自 己 的 质 量 控 制 部 门 、 外 部
的 “ 第 三 方” 机 构 如 政 府 的 认 证 机 构 ， 完 成 软 件 产 品 质 量 的 评
价 过 程 。 软 件 产 品 的 购 买 者 或 使 用 者 也 可 以 独 立 进 行 评 价 。
供 方 、 买 方 、 用 户 或 介 于 他 们 之 间 的 一 方 的“ 要 求 者” 也 可 向
评 价 者 提 出 要 求 。
第 五 部 分 主 要 涉 及 了 供 方 、 要 求 者 和 评 价 者 的 相 互 关 系 、
职 责 ， 以 及 相 互 达 成 合 同 协 议 的 性 质 。
标 准 规 定 评 价 必 须 是 可 重 复 的 、 可 再 现 的 、 公 正 的 、 客 观
的 ，任 何 给 定 的 评 价 将 取 决 于 产 品 的 性 质 ， 所 选 择 的 评 价 方 法
应 适 合 于 这 些 对 象 的 特 点 。 评 价 的 五 项 活 动 是：
评 价 要 求 的 分 析 。
评 价 规 范 。
评 价 的 设 计（ 包 括 评 价 计 划） 。
评 价 计 划 的 实 施 和 评 价 结 果 的 记 录 。
结 论（ 包 括 送 评 的 软 件 单 元 评 审 和 处 理 后 所 交 付 的 评 价 报
告） 。
第 五 部 分 还 具 体 描 述 了 每 项 活 动 的 内 容 。
附 录 B 仅 供 参 考 并 给 出 了 评 价 报 告 的 格 式 。 附 录 B 引 用 了 其
它 标 准 中 的 定 义 ， 包 括 ISO/IEC 9126（21） 中 的 六 个 最 高 级 的 质 量
特 性 。 附 录 C 规 定 了 从 A（ 最 严 格） 到 D（ 最 不 严 格） 的 不 同 级 别
的 评 价 ， 它 涉 及 了 软 件 的 安 全 性 、 经 济 性 、 保 密 性 和 环 境 等
方 面 。C2 的 表 格 推 荐 了 对 ISO/IEC 9126 中 六 个 特 性 的 不 同 级 别 评
价 所 能 使 用 的 评 价 方 法 ， 如 B 级 评 价 的“ 可 靠 性” 为“ 增 长 模 式
的 可 靠 性” ， B 级 评 价 的“ 可 靠 性” 为“ 正 式 的 证 明” 。 附 录 D
（ 参 考 件） 规 定 了 可 作 为 评 价 对 象 的 各 种 不 同 的 单 元（ 中 间 产
品 和 最 终 产 品） 。 在 文 件 的 参 考 部 分 中 陈 述 了 评 价 规 范 必 须 确
定 评 价 的 单 元 ， 同 时 必 须 进 行 配 置 管 理 。 附 录 E 规 定 了“ 第 三
方 评 价 中 双 方 的 相 互 关 系” 。 附 录 B 则 给 出 了 评 价 合 同 的 模 式
， 并 定 义 了 相 关 的 法 律 术 语 。 附 录 G 列 出 了 参 考 文 件 的 清 单
。
本 文 件 主 要 涉 及 了 程 序 性 和 合 同 方 面 的 内 容 ， 而 技 术 方 面
的 内 容 则 较 少 涉 及 。 它 在 一 处 引 用 了“ 相 关 的 测 量 标 准” 作 为
其 进 行 评 价 的 一 个 可 能 的 依 据 。
七 、 评 价 模 块（EM ）
本 系 列 标 准 的 第 六 部 分 是“ 评 价 模 块（ EM）” 。 本 部 分 规 定 了
描 述 评 价 模 块 所 用 文 件 的 结 构 和 内 容 ， 即“ 评 价 所 使 用 的 一 整
套 结 构 化 的 指 令 和 数 据” 。
评 价 模 块 的 形 式 被 确 定 为 六 个 部 分 ， 即EM0 ～EM5（ 符 合 ISO 指
令 的 第 三 部 分 的 要 求） ， 以 及 供 参 考 选 用 的 附 录 EMA 。 EM0:EM 的
“ 正 式” 信 息 ， 以 及 所 用 技 术 的 介 绍（ 理 论 、 模 式 和 技 术 依 据
） 。
EM1:EM的 范 围 ， 包 括 评 价 的 特 性 和 子 特 性（ 可 以 是 ISO/IEC 9126
［ 2 1 ］ 中 的 一 个 或 多 个 特 性 ， 或 其 它 标 准） 、 评 价 的 水 平（ 如
第 五 部 分 中 的 A ～ D 级） 、 方 法（ 见 第 五 部 分 中 的 附 录 2） 和 适
用 性 （ 即 软 件 产 品 的 类 型 或 程 序 语 言 的 类 型 ， 对 其 可 使 用 评
价 的 模 块） 。
EM2： 引 用 文 件 ， 如 特 性 定 义 的 标 准 、 支 持 本 模 块 的 其 它 模
块 等 。
EM3： 定 义 ， 如 评 价 的 特 性 。
EM4： 评 价 模 块 所 使 用 的 文 件 、 收 集 的 数 据 和 计 算 的 度 量 值
。
EM5： 如 何 解 释 测 量 结 果 的 信 息 。
EMA 应 用 程 序 包 括 要 求 的 资 源（ 如 硬 件 、 软 件 、 人 员 的 技 能
和 资 格 及 工 作 量） 、 评 价 模 块 中 所 使 用 的 程 序 以 及 形 成 的 文
件 。
本 部 分 还 解 释 了 如 何 开 发 和 确 认 评 价 模 块 ， 其 中 包 括 以 下
五 个 步 骤 ：
1.确 定 对 评 价 模 块 的 要 求 ， 包 括“ 质 量 模 式” 、 特 性 及 子 特 性 。
2.规 定 评 价 模 块 ， 包 括 技 术 、 输 入 、 指 示 器 、 度 量 和 数 据 要 素 。
3.编 制 程 序（ 对 度 量 的 解 释 、 必 需 的 资 源 、 具 体 的 程 序 等） 。
4.描 述 评 价 模 块 格 式 中 的 程 序 。
5.验 证 和 确 认 评 价 模 块 。
本 部 分 论 述 了 如 何 建 立 一 个 评 价 模 块 库 。 针 对 任 何 给 定 的
软 件 ， 附 录 A 给 出 了 一 个“ 故 障 密 度”（ 与“ 可 靠 性” 特 性 有 关）
的 评 价 模 块 ， 它 使 用 了 可 靠 性 增 长 模 式 对 测 试 中 的 故 障 统 计
数 据 进 行 分 析 。
同 样 ， 第 七 部 分 文 件 更 多 地 侧 重 于 程 序 方 面 的 内 容 ， 而 很
少 涉 及 技 术 内 容 。 除 了 附 录 Ａ 所 列 的 实 例 外 ， 它 实 际 上 并 没
有 确 定 任 何 评 价 模 块 ， 也 没 有 列 出 评 价 ISO/IEC 9126 1 中 特
性 的 一 系 列 评 价 模 块 。
八 、 总 结
通 过 对 ISO/IEC 14589 系 列 标 准 各 部 分 内 容 的 介 绍 ⒙ 我 们 可 以 看
出 该 标 准 有 以 下 几 个 特 点:
1.标 准 的 每 个 部 分 分 别 描 述 了 在 各 自 水 平 上 所 适 用 的 一 系 列 程
序（ 最 高 是 GO 和 P＆M ， 中 等 是 PD 和 PE ， 最 低 是EM ） 和 用 户 的
类 型（ 开 发 者 、 购 买 者 和 评 价 者） ， 并 且 引 用 了 其 它 文 件 作 为
技 术 支 持 。 人 们 最 关 心 的 具 体 的 技 术 细 节 ， 即 如 何 评 价 软 件 产
品 的 质 量 ， 则 是 底 层 以 下 的 内 容 。
2.ISO/IEC 9126 引 用 了 一 些 参 考 文 件 ， 但 几 乎 没 有 引 用 任 何 具 体
的 已 确 定 的 质 量 特 性 和 子 特 性 。 即 使 引 用 ， 也 只 是 作 为 一 个
“ 外 部 条 款” ， 即 意 味 着 用 户 可 以 自 由 选 择 引 用 范 围 内 的 其
它 特 性 （ 或 其 它 定 义） ， 但 说 明 了 在 某 一 具 体 应 用 中 引 用 的
理 由 。
3.ISO 9126 系 列 中 包 括 的 一 个 概 念 是“ 指 示 器” ， 它 的 数 值 可 被
用 来 预 测 某 些 其 它 度 量 的 值 。 这 里 我 们 并 不 能 简 单 地 否 认 指
示 器 与 其 将 要 指 示 的 数 值 之 间 的 必 然 联 系 ， 但 必 须 根 据 对 实
际 软 件 产 品 的 观 察 结 果 来 确 定 这 种 联 系 。 然 而 ， 很 少 有 人 认
识 到 在 实 际 工 作 中 建 立 这 种 联 系 是 多 么 困 难 。
--
[20CWhen all was beautiful,
[24CWe caught nothing.
[20CTill we are to understand,
[24CEverything has gone.
※ 来源:·BBS 水木清华站 bbs.net.tsinghua.edu.cn·[FROM: case.cs.pku.edu]
--
太阳就是个大灯泡。(自创)
先天下之光而光，后天下之脱而脱。(摘抄)
※ 来源:．紫 丁 香 bbs.hit.edu.cn．[FROM: 202.118.239.237]
Powered by KBS BBS 2.0 (http://dev.kcn.cn)
页面执行时间：206.066毫秒