Database 版 (精华区)
发信人: rhine (有雨无风), 信区: Database
标 题: 数 据 挖 掘-- 极 具 发 展 前 景 的 新 领 域
发信站: 哈工大紫丁香 (2001年03月16日08:14:48 星期五), 站内信件
数 据 挖 掘-- 极 具 发 展 前 景 的 新 领 域
朱 廷 劭
------------------------------------------------------------------------
--------
数 据 挖 掘 是 什 么 ？
---- 人 们 在 日 常 生 活 中 经 常 会 遇 到 这 样 的 情 况： 超 市 的 经
营 者 希 望 将 经 常 被 同 时 购 买 的 商 品 放 在 一 起， 以 增 加 销
售； 保 险 公 司 想 知 道 购 买 保 险 的 客 户 一 般 具 有 哪 些 特 征
； 医 学 研 究 人 员 希 望 从 已 有 的 成 千 上 万 份 病 历 中 找 出 患
某 种 疾 病 的 病 人 的 共 同 特 征， 从 而 为 治 愈 这 种 疾 病 提 供
一 些 帮 助。
----对 于 以 上 问 题， 现 有 信 息 管 理 系 统 中 的 数 据 分 析 工 具
无 法 给 出 答 案。 因 为 无 论 是 查 询、 统 计 还 是 报 表， 其 处 理
方 式 都 是 对 指 定 的 数 据 进 行 简 单 的 数 字 处 理， 而 不 能 对
这 些 数 据 所 包 含 的 内 在 信 息 进 行 提 取。 随 着 信 息 管 理 系
统 的 广 泛 应 用 和 数 据 量 激 增， 人 们 希 望 能 够 提 供 更 高 层
次 的 数 据 分 析 功 能， 从 而 更 好 地 对 决 策 或 科 研 工 作 提 供
支 持。
----正 是 为 了 满 足 这 种 要 求， 从 大 量 数 据 中 提 取 出 隐 藏 在
其 中 的 有 用 信 息， 将 机 器 学 习 应 用 于 大 型 数 据 库 的 数 据
挖 掘(Data Mining) 技 术 得 到 了 长 足 的 发 展。
----数 据 挖 掘， 也 可 以 称 为 数 据 库 中 的 知 识 发 现(Knowledge
Discovery in Database，KDD)， 是 从 大 量 数 据 中 提 取 出 可 信、 新
颖、 有 效 并 能 被 人 理 解 的 模 式 的 高 级 处 理 过 程。
----数 据 库 中 的 知 识 发 现 是 一 个 多 步 骤 的 处 理 过 程， 一 般
分 为：
----问 题 定 义 了 解 相 关 领 域 的 有 关 情 况， 熟 悉 背 景 知 识，
弄 清 用 户 要 求。
----数 据 提 取 根 据 要 求 从 数 据 库 中 提 取 相 关 的 数 据。
----数 据 预 处 理 主 要 对 前 一 阶 段 产 生 的 数 据 进 行 再 加 工，
检 查 数 据 的 完 整 性 及 数 据 的 一 致 性， 对 其 中 的 噪 音 数 据
进 行 处 理， 对 丢 失 的 数 据 进 行 填 补。
----数 据 挖 掘 运 用 选 定 的 知 识 发 现 算 法， 从 数 据 中 提 取 出
用 户 所 需 要 的 知 识， 这 些 知 识 可 以 用 一 种 特 定 的 方 式 表
示 或 使 用 一 些 常 用 的 表 示 方 式。
----知 识 评 估 将 发 现 的 知 识 以 用 户 能 了 解 的 方 式 呈 现， 根
据 需 要 对 知 识 发 现 过 程 中 的 某 些 处 理 阶 段 进 行 优 化， 直
到 满 足 要 求。
----由 此 可 见， 数 据 挖 掘 只 是 数 据 库 中 知 识 发 现 的 一 个 步
骤， 但 又 是 最 重 要 的 一 步。 因 此， 往 往 可 以 不 加 区 别 地 使
用KDD 和 数 据 挖 掘。 一 般 在 研 究 领 域 被 称 作 数 据 库 中 知 识
发 现 的， 在 工 程 领 域 则 称 之 为 数 据 挖 掘。
数 据 挖 掘 能 做 什 么?
----数 据 挖 掘 所 涉 及 的 学 科 领 域 和 方 法 很 多， 以 下 四 种 是
非 常 重 要 的 发 现 任 务。
----数 据 总 结 其 目 的 是 对 数 据 进 行 浓 缩， 给 出 它 的 紧 凑 描
述。 数 据 挖 掘 主 要 关 心 从 数 据 泛 化 的 角 度 来 讨 论 数 据 总
结。 数 据 泛 化 是 一 种 把 数 据 库 中 的 有 关 数 据 从 低 层 次 抽
象 到 高 层 次 上 的 过 程。
----分 类 其 目 的 是 学 会 一 个 分 类 函 数 或 分 类 模 型( 也 称 作
分 类 器)， 该 模 型 能 把 数 据 库 的 数 据 项 映 射 到 给 定 类 别 中
的 某 一 个。
----聚 类 是 把 一 组 个 体 按 照 相 似 性 归 成 若 干 类 别， 即" 物 以
类 聚"。 它 的 目 的 是 使 属 于 同 一 类 别 的 个 体 之 间 的 距 离 尽
可 能 地 小， 而 不 同 类 别 的 个 体 间 的 距 离 尽 可 能 地 大。
----关 联 规 则 是 形 式 如 下 的 一 种 规 则，" 在 购 买 面 包 和 黄 油
的 顾 客 中， 有90 ％ 的 人 同 时 也 买 了 牛 奶"( 面 包 ＋ 黄 油 牛
奶)。 关 联 规 则 发 现 的 思 路 还 可 以 用 于 序 列 模 式 发 现。 用
户 在 购 买 物 品 时， 除 了 具 有 上 述 关 联 规 律， 还 有 时 间 或
序 列 上 的 规 律。
前 途 光 明 的 数 据 挖 掘 技 术
----随 着KDD 在 学 术 界 和 工 业 界 的 影 响 越 来 越 大， 国 际KDD 组
委 会 于1995 年 把 专 题 讨 论 会 更 名 为 国 际 会 议， 在 加 拿 大 蒙
特 利 尔 市 召 开 了 第 一 届KDD 国 际 学 术 会 议， 以 后 每 年 召 开
一 次。 近 年 来，KDD 在 研 究 和 应 用 方 面 发 展 迅 速， 尤 其 是 在
商 业 和 银 行 领 域 的 应 用 比 研 究 的 发 展 速 度 还 要 快。
----目 前， 国 外 数 据 挖 掘 的 发 展 趋 势 其 研 究 方 面 主 要 有：
对 知 识 发 现 方 法 的 研 究 进 一 步 发 展， 如 近 年 来 注 重 对
Bayes( 贝 叶 斯) 方 法 以 及Boosting 方 法 的 研 究 和 提 高； 传 统 的
统 计 学 回 归 法 在KDD 中 的 应 用；KDD 与 数 据 库 的 紧 密 结 合。
在 应 用 方 面 包 括：KDD 商 业 软 件 工 具 不 断 产 生 和 完 善， 注 重
建 立 解 决 问 题 的 整 体 系 统， 而 不 是 孤 立 的 过 程。 用 户 主
要 集 中 在 大 型 银 行、 保 险 公 司、 电 信 公 司 和 销 售 业。 国 外
很 多 计 算 机 公 司 非 常 重 视 数 据 挖 掘 的 开 发 应 用，IBM 和 微
软 都 成 立 了 相 应 的 研 究 中 心 进 行 这 方 面 的 工 作， 此 外，
一 些 公 司 的 相 关 软 件 也 开 始 在 国 内 销 售， 如Platinum、BO 以
及IBM。
----国 内 从 事 数 据 挖 掘 研 究 的 人 员 主 要 在 大 学， 也 有 部 分
在 研 究 所 或 公 司。 所 涉 及 的 研 究 领 域 很 多， 一 般 集 中 于
学 习 算 法 的 研 究、 数 据 挖 掘 的 实 际 应 用 以 及 有 关 数 据 挖
掘 理 论 方 面 的 研 究。 目 前 进 行 的 大 多 数 研 究 项 目 是 由 政
府 资 助 进 行 的， 如 国 家 自 然 科 学 基 金、863 计 划、" 九 五" 计
划 等， 但 还 没 有 关 于 国 内 数 据 挖 掘 产 品 的 报 道。
----我 们 从1996 年 开 始 有 关 数 据 挖 掘 的 研 究， 积 累 了 大 量 的
资 源。 为 了 学 术 交 流 和 资 源 共 享， 我 们 建 立 了 关 于 数 据
挖 掘 的 网 站， 即KDD in China， 并 希 望 通 过 它 将 国 外 关 于 数 据
挖 掘 的 最 新 情 况 介 绍 给 国 内 同 行， 同 时 也 为 国 内 研 究 人
员 提 供 交 流 的 机 会 和 渠 道。 大 家 可 以 通 过 下 面 三 个 地 址
访 问KDD in China： 清 华AILINUX(http: ∥ailinux.ml.org/ ～kdd)、 中 山
国 际(http: ∥202.96.189.28/kdd/index.html) 和 沈 阳SYNET(http: ∥202.
112.29.35/kdd)。
----一 份 最 近 的Gartner 报 告 中 列 举 了 在 今 后3 ～5 年 内 对 工 业
将 产 生 重 要 影 响 的 五 项 关 键 技 术， 其 中KDD 和 人 工 智 能 排
名 第 一。 同 时， 这 份 报 告 将 并 行 计 算 机 体 系 结 构 研 究 和
KDD 列 入 今 后5 年 内 公 司 应 该 投 资 的10 个 新 技 术 领 域。
----可 以 看 出， 数 据 挖 掘 的 研 究 和 应 用 受 到 了 学 术 界 和 实
业 界 越 来 越 多 的 重 视。 进 行 数 据 挖 掘 的 开 发 并 不 需 要 太
多 的 积 累， 国 内 软 件 厂 家 如 果 进 入 该 领 域， 将 处 于 和 国
外 公 司 实 力 相 差 不 很 多 的 起 跑 线 上， 并 且， 现 在 关 于 数 据
挖 掘 的 一 些 研 究 成 果 可 以 在Internet 上 免 费 获 取， 这 更 是
一 个 可 以 利 用 的 条 件。 我 们 希 望 数 据 挖 掘 能 够 引 起 国 内
实 业 界 更 多 的 重 视， 同 时 也 希 望 能 够 有 更 多 的 国 内 软 件
厂 商 进 入 该 领 域。
--
海纳百川，
有容乃大，
壁立千尺，
无欲则刚。
※ 来源:·哈工大紫丁香 bbs.hit.edu.cn·[FROM: dip.hit.edu.cn]
Powered by KBS BBS 2.0 (http://dev.kcn.cn)
页面执行时间：2.981毫秒