AI 版 (精华区)

发信人: samuel (孔雀翎), 信区: AI
标  题: 《机器学习》第12章部分习题解答
发信站: 哈工大紫丁香 (2003年06月12日11:00:04 星期四), 站内信件

我自己作的，有应付了事的性质，大家多提意见
第12章 归纳和分析学习的结合

习题
12.2 KBANN将一组命题Horn子句变换成一个初始神经网络。考虑一类，这种Horn子句前件
（先行词）中包含m个文字，并且包含一关联的参数n，n<=m.当m个前件中至少n个满足时，
此n-of-m Horn子句被认为是满足的。例如，子句：StudentcLiveInDorm，Young，Studies
；n = 2
如果3个前件中至少两个满足时，断言此人为Student。
给出与KBANN相似的一个算法，它接受一组命题型n-of-m子句并且能构造出与领域理论一致
的神经网络。

KBANN(Domain_Theory，Training_Examples)
Domain_Theory：非递归命题型Horn子句集合
Training_Examples：目标函数的< input，output >对的集合
分析步：创建一个等价于领域理论的初始网络
1． 对每个实例属相创建一个网络输入
2． 对Domain_Theory的每个Horn子句，创建如下的网络单元
●  连结此单元的输入到此子句的先行词测试的属性
●  对子句的每个非负先行词，赋予权值W给对应的sigmoid单元输入
●  对子句的每个负先行词，赋予权值-W给对应的sigmoid单元输入
●  设置此单元的阈值w0为-（n/m-0.5）W，其中n为子句的非负先行词的数目
3． 在网络单元之间增加附加的连接，连接深度为i的每个网络单元到深度为i+1的所有网
络单元的输入层上。赋予这些附加的连接为接近0的随机权值
4． 应用反向传播算法来调整初始网络权值以拟合Training_Examples

12.4 此习题要求推导出类似于TANGENTPROP使用的梯度下降法则。考虑实例空间X由实数构
成，而假设空间H由x的二次函数构成。即每个假设形式为：
h（x）=ω0+ω1x+ω2x2
(a) 推导一个梯度下降法则，它最小化反向传播中的相同的判据：即在假设和训练数据目
标值之间的误差平方和。

эh(x)/эx = ω1 + 2ω2x，误差函数为：
E = ∑[(f(x) - ω0 + ω1x + ω2x2)2 + μ∑(ω1 + 2ω2x)2a=0]]

(b) 推导一个梯度下降法则，它最小化TANGENTPROP中相同的判据。只考虑一个变换s（a，
x）=x + a

эh(x)/эx = ω1 + 2ω2x，эs（a，x）/эa = 1，误差函数为：
E = ∑[(f(x) - ω0 + ω1x + ω2x2)2 + μ∑(ω1 + 2ω2x - 1)2a=0]]

12.6 再次考虑图12-8中显示的FOCL搜索步骤。假如在搜索的第一层选择的假设改为：Cup
←┓HasHandle
描述FOCL生成的作为假设后继的第二层候选假设。只需要包括那些由FOCL的第二个搜索算
子生成的假设，即用领域理论生成的假设。不要忘记对充分条件进行后修剪。使用表12-3
种的训练数据。

Cup←┓HandleOnTop
Cup←┓HandleOnSide
Cup←┓MadeOfStyrofoam
Cup←BottonIsFlat,
Light,
HasCancavity,
ConcavityPointsUp

12.8 再次考虑12.2.1节中的问题，即当数据和先验知识都存在时，应使用什么样的准则在
假设中进行选择。给出你在这个问题上的见解。

为了精确起见，需要定义对应数据和对应两于理论的假设错误率度量，然后用这些错误率
来表示问题。可以定义errorD(h)为D中被h误分类的样例所占比例。还可定义h关于领域理
论B的错误率errorB(h)为h与B在分类一个随时抽取实例时不一致的概率。接下来就可以场
使用这些错误率的形式刻画所希望的输出假设。例如，我们可以要求假设使上述错误率的
某种综合度量最小化，如：
argminkDerrorD(h) + kBerrorB(h)
但是这时还不知道kD和kB的值来指定拟合数据和拟合理论两者的相对重要程度。如果有非
常差的理论，却有大量可靠数据，最好使errorD(h)的权值更大。相反，如果有很好的理论
，而数据样本很小且存在大量噪声，把errorB(h)的权值增大会得到最好的结果。
确定先验知识和数据权值的一种解决方案时使用贝叶斯的观点。按照贝叶斯的观点，所选
择的假设应为后验概率中最大的一个，并且贝叶斯公式提供了为此先验知识和观察到数据
的贡献加权的良好方法。遗憾的是，贝叶斯公式隐含假定拥有P(h)、P(D)、P(D|h)概率分
布的完美的知识。因此贝叶斯方法并不能真正的解决此问题。
以我的观点，似乎可以采用软件工程领域正在实践的RUP方法，利用迭代，把学习的过程拟
合成一种增量过程。这有点类似反向传播算法，但有有所不同。RUP方法适合处理在项目需
求不明确，而且随着项目的进程，需求不断变化的软件过程，刚好适合处理领域理论和训
练数据都不足的情况下的学习过程。对于这方面的问题，我正在做专门研究，时间关系，
不可能在5月20日之前取得结论，另文备后详述。

哈尔滨工程大学计算机科学与技术学院 博士研究生 孔雀翎
2003年5月18日凌晨2：43

--
三年硕士五年博，身变皮骨腰变驮。昨日豪情遭磨难，今朝两鬓见斑驳。
囊中通货常恨少，腹内草莽日渐多。墙上芦苇浅根底，山间竹笋空外壳。
有心飘洋求深造，无奈拦路有G 托。终日昏昏书中死，彻夜迷迷网上活。
人依电脑哥俩个，情寄足球心一颗。偶有红袖添香事，南柯梦醒愁更多。
不毛之地空求雨，梧桐树矮愧凤落。寄言诸位同窗友，莫效小子这般活。
轻浮小舟难下海，空虚岁月易蹉跎。此中言语皆肺腑，敬请大家细琢磨。

※ 来源:·哈工大紫丁香 bbs.hit.edu.cn·[FROM: 218.7.43.254]