NanoST 版 (精华区)

发信人: wxl (小亮), 信区: NanoST
标  题: 第十一章 毁灭的发动机
发信站: 哈工大紫丁香 (Fri May 13 08:46:56 2005), 转信

　　我毫不怀疑地球上最可怕的军队是由那些小到不可见的士兵组成的。
　　——WILLIAM PERRY，关于细菌，1640

　　可复制组装机和思维机器会对地球上的人类和生物产生根本性威胁。今天的生物的能力离可能的极限还很远，但是我们的机器进化得比我们要快。在几十年内它们很可能就会超过我们。除非我们学会如何安全地和它们共生，否则我们的未来将既是令人激动的又是短暂的。我们不能希望预见所有未来的问题，但是我们可以通过注意最大的，最基本的问题来预见最大的挑战，以便做好准备。

　　整本书毫无疑问都在写即将到来的社会剧变：当组装机和自动工程消除了大部分的国际贸易的需求时，全球秩序将产生怎样的变化？当个人能独立地生存时社会将怎样变化？当可复制组装机可以做任何事而不需要任何人类劳动时我们将做什么？当AI系统可以思考得比人脑还快时我们将怎么做？（在它们做出结论说人类什么也干不了之前，作者们应该想想跑步者会怎样看待汽车，画家怎样看待照相机）

　　事实上，作者们已经预见到和开始讨论这些问题了。它们每一个都非常重要，但是比它们更基本的是生命和自由的存在。毕竟，如果生命和自由被消灭了，那么我们的关于社会问题的思考就失去了物质基础。


　　机器的威胁

　　在第四章中，我描述了在我们的正确控制下可复制组装机能为我们做什么。由燃料和阳光作动力，它们可以做几乎任何事情（包括生产它们自己），而使用普通的原料。

　　活的生物也是由燃料和阳光作动力的，也是使用普通原料生产更多的自己。但是和基于组装机的系统不一样，它们不能制造“几乎任何东西”。

　　基因的进化使得生命受限于一个基于DNA，RNA，和核糖体的系统，而拟子的进化将带来基于纳米计算机和组装机的类生命机器。我已经描述了组装机制造的分子机器和核糖体制造的生命机器有什么区别。组装机将能制造所有核糖体能造的，甚至更多。从进化的观点来看，这会产生对水獭，人类，仙人掌，和蕨类植物——对富饶的生物圈和所有我们珍视的东西的显著的威胁。

　　早期的晶体管计算机很快就击败了最好的真空管计算机，因为它们基于更高级的装置。同样道理，早期的基于组装机的复制机也将击败最先进的生物。不比我们现在的太阳能电池效率更高的“植物”和“树叶”将使真正的植物出局，并挤满生物圈。坚韧的，什么都能吃的“细菌”将使真正的细菌出局：他们将象花粉那样随风传播，迅速地复制，在几天内把生物圈变得尘土覆盖。危险的复制机很容易变得结实，微小，并快速散布使我们无法阻止——如果我们不做准备的话。而我们对付病毒和果蝇已经够费劲的了。

　　在纳米技术专家中，这种威胁被看作是“灰色粘性物问题”。虽然大堆的失控复制机不一定是灰色或粘性的，“灰色粘性物”还是强调了可以湮没生命的复制机可能类似于某种杂草。从进化的角度来说，它们可能是“出众的”，但这并不能使它变得有价值。我们已经进化到热爱一个充满生命，思想，和多样性的世界，没有理由去估价灰色粘性物而仅仅因为它能传播。当然，如果我们能阻止它我们就能证明我们的进化的优越性。

　　灰色粘性物的威胁使得一件事变得很清晰：我们不能承受使用可复制组装机中出现的某种意外事故。

　　在第五章中，我描述了先进AI系统能为我们做些什么，如果我们能正确地使用的话。最终，它们会浮现出思想并快速传播发展，使得任何哺乳动物的大脑都跟不上它们。AI系统如果象人类那样共同工作的话将能超过不仅我们个人而且是整个社会的思想。再一次，基因的进化使得生命进退两难；再一次，人类拟子的进化——最终是由机器实现——将使我们的硬件发展远远超越生命所受的限制；再一次，从进化的观点来看，这会引起显著的威胁。

　　知识能带来力量，力量也能带来知识。依赖于本性和目的，先进的AI系统会积累足够的知识和力量来置换我们，如果我们没有适当准备的话。和复制机一样，纯粹的进化的“优越性”不会使胜利者比失败者更好而只会产生残忍的竞争能力。

　　这种威胁使得一件事变得很清晰：我们需要找到一条和思维机器共生的方法，使它们成为守法公民。
　　

　　力量的引擎

　　某些种类的复制机和AI系统可能会用更有能力的迅速，高效，可独立行动的硬件来对抗我们。而这种威胁的新奇——来自于机器自己——使我们不应该把它看作一个传统的威胁。复制机和AI系统如果被主权国家滥用的话，也可能成为权力的引擎。

　　纵观历史，国家通过发展技术来扩展它们的军事力量，国家也毫无疑问会成为开发复制机和AI系统的主要角色。国家可以用可复制组装机建造先进的武器工厂，并且有快速，容易和数量巨大的优势。国家可以直接使用复制机来发动一场细菌战争——一场由数量巨大的可编程的，计算机控制的“细菌”组成的战争。依靠它们的能力，AI系统可以成为武器设计者，战略家或者战士。军事基金已经被用于分子技术和人工智能的研究。

　　国家可以使用组装机或先进AI系统来达到突然的，不可预知的突破。我早先描述了可复制组装机的出现将带来相当突然的改变的理由：能迅速复制，可以被编程用来复制现有的武器，和用更好的材料来制造。因为可以使用标准的，已被了解的元件（原子），它们可以按照设计突然地制造东西。这些设计前导的结果包括可编程细菌和其他的令人厌恶的东西。因为上述原因，一个实现了组装机突破的国家可以迅速建立一支决定性的军事力量——如果不是用一个晚上，至少也是用空前的速度。

　　国家可以使用先进AI系统达到类似的结果。自动工程系统将推动设计前进并加速组装机的进步。可以建造更好的AI系统的AI系统将引发能力爆炸，使结果难以预测。AI系统和可复制组装机都可以使国家能在短时间内高度扩展军事能力。

　　复制机可以比核武器更加有效：用核炸弹来毁坏地球需要大量的特殊硬件和稀有的同位素，而用复制机摧毁所有生命只需要一个普通元素组成的斑点。复制机和核战争的相似之处在于它们的引起毁灭的潜在因素，使得话题扩展到了道德领域。

　　暂且不管它们成为毁灭的发动机的潜在能力，纳米技术和AI系统将比核武器应用于更多的地方。一颗炸弹只能炸毁东西，而纳米技术和AI系统可以被用来渗透，侵占，改变，和控制一个地区或一个世界。即使最残忍的警察机关也不会使用核武器，但是他们会使用窃听器，麻醉药，杀手，和其他灵活的力量。通过使用先进技术，国家可以巩固权力。

　　国家也在进化着象基因，拟子，生物，和硬件这些东西。国家的制度通过生长，分裂，模仿和征服在扩展（伴随着变化）。战争中的国家象野兽，只是把公民当作它们的骨头，脑袋和肌肉。即将到来的突破将使国家面对新的压力和新的机会，使国家行为产生剧变。这自然会被关注。国家，从历史上来看，擅长于屠杀和镇压。

　　在某种意义上，国家是由人构成的组织机构的总和：他们的行动加起来形成了国家行为。但是这用来描述狗和它身上的细胞也很合适，虽然狗不仅仅是一堆细胞。狗和国家都是进化系统，具有影响它们行为的结构。几千年来，狗进化得使人类高兴，因为它们在人类的想法下生存和繁殖。几千年来，国家也在不同的选择性压力下进化。个人对狗的权力远大于他们对国家的权力。虽然国家也可以从使人高兴中获得利益，但它们的存在主要是靠它们驱使人民的能力，无论对象是领导者，警察，还是士兵。

　　说人民对国家只有有限权力的说法似乎是荒谬的：毕竟，任何国家行动不都是人民完成的吗？但是在民主政治下，国家首脑哀叹他们缺乏权力，议员们屈服于利益集团，官僚们被规则条例束缚，选民们申述自己被看管，诅咒整个体系。国家运转受到人的影响，但是没人能声称自己控制了它。在极权主义国家，权力机器有着传统的组织结构和内在逻辑，在此之下没有人是自由的，不管是统治者还是被统治者。即使国王也受限于君主政体的传统和权力的使用，如果他们要保留国王的话。国家不等同于个人，虽然它们是由人组成的。

　　尽管如此，历史显示了改变是可能的，甚至可以越改越好。但是改变经常是从一种半自治的，野蛮的体系变到另一种——同样野蛮但是可能更仁慈一点。我们希望进步，同时不应该搞混披着人性外衣的国家和拥有慈善团体的国家。

　　把国家描述成准生物体只抓住了复杂现实的一方面，但是它显示了它们会怎样进化来适应即将到来的突破。政府权力的增长，最明显的在极权国家，显示了一个方向。

　　国家通过更完全地控制它们的部件而更像生物体。使用可复制组装机，国家可以在人类生活环境周围布满微小的监督装置。使用大量的能听懂人话的AI系统，它们可以不需要雇佣大量的人口就能听到每个人说的话。使用象细胞修复机器那样的纳米技术，它们可以实行便宜的，安静的脑部切除手术，或者改变整个人群。这将演化出一个太熟悉的景象，世界已经使政府拥有了间谍，拷问，和麻醉药物，先进的技术只是扩展了这些可能性。

　　但是有了先进技术，国家就不需要控制人民——它们只要简单地抛弃人民就行了。大部分国家里的大部分人民都是工人，学徒工，或工人抚养者，大部分这些工人制造，移动，或者生长东西。一个具有可复制组装机的国家不需要人做这些工作。更甚者，先进AI系统可以取代工程师，科学家，管理者，甚至领导者。纳米技术与先进AI系统的组合可以制造出聪明的，高效的机器人，有了这些机器人，国家就可以在繁荣昌盛的同时抛弃任何人，或甚至（理论上）所有人。

　　这样的可能性的暗示依赖于国家是为人民服务还是人民为国家服务这个条件。

　　在第一种情况中，我们的国家由人类组成并且为普遍的人类目标服务，民主制度至少与这个理想是接近的。如果一个民主政体失去了对服务人民的任务的需求，基本上意味着它不需要人民来做官僚或纳税人了。这将开放新的可能性，某些这种可能性可能是值得争取的。

　　在第二种情况中，我们的国家进化为剥削人类，也许沿着极权主义的路线。国家需要人民作为工人因为人类劳动是权力建立的必要基础。还有，种族灭绝和屠杀在过去代价高昂而且难于组织和实施，即使这样，在本世纪，极权主义国家还是屠杀了自己国家里数以百万计的人民。先进技术将使工人变得无用并且使屠杀变得容易。历史暗示极权主义国家因此会大规模地消灭人民。有一点值得安慰，似乎国家更愿意也可以用生物学意义上的奴役我们来代替简单地杀死我们。

　　掌握了先进技术的国家的威胁使得一件事变得很清楚：我们不能由一个压制性的国家来领导即将到来的突破。

　　基本的问题是明显的：在未来，和过去一样，新技术将会出现意外并且被滥用。由于复制机和思维机器将带来新的巨大的力量，那么潜在的意外和滥用作用也将会很大。这些可能性将给我们的生活带来真正的威胁。

　　大部分人愿意活着以及希望能自由地选择生活。这个目标听起来不是太理想化，至少在世界的某些部分来说。这并不意味着强迫每个人的生活适应某个大计划，而是意味着避免奴役和死亡。并且，象乌托邦理想被实现一样，它将带来一个充满奇迹的未来。

　　通过提出这些生存或死亡的问题和这个大目标，我们可以考虑采取什么样的措施可以帮助我们成功。我们的战略必须包括人民，法律，和制度，而这些战略也必须依赖于不可避免地和技术有关的战术。


　　可信赖的系统

　　为了安全地使用这种力量巨大的技术，我们必须制造能让我们信任的硬件。为了信任，我们必须能准确地判断技术现实，这部分地依赖于我们的决策机构的质量。更基本地，它将依赖于可信赖的硬件是否是物理上可行的，这是系统和元件的可靠性问题。

　　我们经常制造可靠的元件，即使没有组装机的帮助。“可靠的”并不意味着“不可破坏的”——在核爆炸周围的任何东西都会被毁灭。它甚至也不意味着“结实”——一个电视可能是可靠的，但是如果摔倒水泥地上就会坏了。更合适的说法是，当某个东西可以按照设计好的情况动作我们就可以称为可靠的。

　　一个可靠的元件不必是一个完美设计方案的完美体现：它只需要是一个谨慎的设计方案的足够好的体现就行了。一个桥梁工程师可能不能确定风力的大小，交通流量，和钢的强度，但是通过假设一个较高的风力，较大的交通流量，和较弱的钢强度，他就可以设计出一个安全的桥梁。

　　意料之外的元件故障通常是由材料的缺陷滋生而成。而组装机将建造其构成的绝大部分原子排列都正确的元件——如果需要的话，可以是全部。这将使它们完美地统一和完美地可靠。辐射将仍会带来损坏，因为宇宙射线可以从任何东西上敲下原子来。对一个足够小的元件来说（即使是现在的计算机内存），一个辐射粒子就可能引起动作失误。

　　但是系统在它的部分部件损坏的情况下也能工作，其中的关键在于冗余。我们可以想象一座绳索吊桥，绳索会随机断裂，每年一次随机发生。如果一根绳索断了桥就塌了，那就太危险了。如果断了的绳索要一天的时间修复（工人技术熟练并且有随时备用的绳索），并且，如果需要五根绳子支撑吊桥，实际上用了六根。那么如果断了一根，桥还会存在，通过中断交通和更换绳索，桥就会恢复安全。要摧毁这座桥，必须在一天内断两根绳子才行。通过使用6根绳子，每根绳子每天的断裂几率为1/365，桥可以维持10年的安全。（关于此计算，英文网络版有注解）

　　在改进的同时，危险仍然存在。但是如果桥有十根绳索（需要五根，冗余五根），如果其中六根在同一天中断裂，桥才会塌。那么桥的安全寿命为一千万年。如果桥有十五根绳索，那么桥的安全寿命大约是地球年龄的一万倍。冗余可以带来指数式增长的安全系数。

　　当冗余部件互相独立地工作时冗余效果最好。如果我们不信任设计过程，我们就必须使用独立设计的元件，如果一颗炸弹，子弹，或宇宙射线可以摧毁几个相邻的部件，我们就必须更宽地扩展冗余部件。要在两个岛之间提供可靠运输的工程师不能只靠在桥上增加绳索来提高安全性，他们要建造两个结构不同的相互独立的桥，还可能要增加一个隧道，一艘渡船，和两个机场。

　　计算机工程师也使用冗余。例如层云（Stratus）计算机公司，制造了一台使用四个中央处理器（两对）的计算机来做只要一个中央处理器就可以做的工作，但是工作起来要可靠的多。当一对CPU工作不正常时，另外一对就替换上去。

　　一个更有效的冗余形式是设计的多样性。在计算机硬件方面，这意味着使用几个不同设计的计算机，并行地工作。那么就可以不仅纠正硬件上的错误，而且可以纠正设计上的错误。

　　在写大型的，无故障程序时这种方法应用的更多，很多人认为这样的程序不可能被开发和调试。但是UCLA计算机科学系显示了设计多样性可以被用在软件开发上：几个程序员可以独立地解决同样的问题，然后他们开发的程序并行工作并投票表决结果。这使得开发和运行的成本成倍地增加，但是使得最终的软件可以消除由于部件故障产生的错误。

　　我们可以使用冗余来控制复制机。就象修复机器可以比较多个DNA链来纠正细胞内的基因变异一样，可以比较多个相同指令的拷贝的复制机（或其他有效的纠错系统）将能抵抗变异。冗余将再一次带来安全性的指数式爆发。

　　我们可以建造极度可靠的系统，但是将增加成本。冗余使得系统更重，更大，更贵，效率更低。而纳米技术，将使得大部分东西大幅度地变轻，变小，变便宜，和变得更有效率。这将使得冗余和可靠性更实用。

　　今天，我们很少想到购买最安全的系统，我们可以容忍错误而很少考虑到可靠性的真正极限。这使得决定偏向于可以实现的各种功能。心理因素也扭曲了我们对怎样制造可靠的东西的看法：错误存在于我们大脑中，但是每天几乎不引起我们的注意。媒体通过报告全世界的最富有戏剧性的事故同时忽略没完没了的成功来放大了这种趋势。更糟的还有，冗余系统的元件可能以可见的形式失效，引发惊慌：想象一下媒体将如何报道一座吊桥的绳索断裂，即使这座吊桥是上面说的超级可靠的十五根绳索的吊桥。由于每增加一个冗余部件就增加一份出错的可能性，系统的可靠性在接近完美时可能反而会看起来更糟。

　　除掉外在因素，由大量无故障的元件组成的冗余系统通常能带来几乎完美的可靠性。广泛分布的冗余系统将能抵抗子弹和炸弹。

　　但是如果是设计错误又怎样呢？如果有一个共同的设计上的错误那么就是使用一打的通用部件也没用。多样性设计是一个答案，充分的测试是另外一个。我们能可靠地进化好的设计而不必成为可靠的优秀的设计师：我们只要擅长测试，擅长修补，和有耐心就行。自然进化了可工作的分子机器，它们完全无意识地进行修补和测试。有了意识，我们可以做的更好。

　　我们将会发现设计可靠的硬件是容易的，如果我们能发展出可靠的自动工程系统的话。这使得话题扩展到了关于开发可信赖的人工智能系统的范围。我们将能容易地用可靠的硬件制造AI系统，但是它们的软件又如何呢？

　　象现今的AI系统和人的大脑一样，先进AI系统将是很多简单部件的协作组合。每个部件相对整体来说都是专门的和低智能的。一些部件可以采集识别图像，声音，和其他数据。其他的部件可以比较和判断上述数据。和人类视觉系统可以忍受错误和光学幻影一样，AI系统也行。（的确，一些先进的机器视觉系统已经可以处理常见的光学幻象），就象人脑的某些部分可以识别并补偿幻影一样，AI系统的某些部分也可以。

　　在人的大脑中，智能包括能产生模糊猜想的心灵部件和能判断并消除错误猜想，并使它们不能影响重要判断的部件。基于道德基础的拒绝行动的心灵部件我们称为良心。具有很多部件的AI系统有足够的空间容纳冗余和设计差异，使得高可靠性成为可能。

　　一个真正的，灵活的AI系统应该能够进化想法。为了做这件事，它必须能发现或形成假设，产生变化，并测试它们，然后修改或者消除那些不合理的假设，去掉其中任何一种能力都会使它变得愚蠢，顽固，或疯狂。为了避免陷入初始的错误想法之中，它必须考虑不同的观点，看看那个能更好地解释数据，并且看看一个观点是否能解释另外一个。

　　科学团体经历了相似的过程，在一份题为“科学团体的隐喻”的报告中，MIT的人工智能实验室的William A. Kornfeld 和Carl Hewitt建议AI研究者把他们的程序模型设计的更像科学团体的进化模式。他们指出科学的多态性，互相竞争的提案、支持者、反对者的多样性。没有提案，想法就不会出现，没有支持，它们就不能成长，没有批评来除草，坏的想法就会把好的想法挤掉。这是普遍真理，无论是在科学上，技术上，在AI系统，还是在我们的大脑中。

　　一个充满多样性和冗余的提案、支持者、反对者的世界使得科学和技术的进步变得可靠。更多的提案使得好的建议更普遍，更多的反对者使得坏的建议更容易受到攻击。结果将产生更多更好的想法。类似的冗余形式将帮助AI系统发展健全的想法。

　　人们有时以真理和道德的标准来指导行动，我们也可以发展类似的AI系统，但是更加可靠。由于可以用比我们快一百万倍的速度思考，它们将可以有足够的时间反复考虑。看起来AI系统是可以信赖的，至少按人类的标准是这样的。

　　我经常把AI系统和人脑相比，但是相似之处不一定很接近。一个可以模仿人的系统应该是象人的，而一个自动工程系统就不一定了。一个方案（称为Agora系统，源自会议和集市的希腊术语）由很多独立的软件部分组成，它们彼此之间通过交换服务和钱来互相影响，很多部分是简单的和专门化的，一些部分能提出设计变更，其他的部分可以分析。象地球上的生态环境进化出了特殊的生物一样，这种计算机经济环境可以进化出特别的设计——或许以一种同样无意识的随机的方式。更甚者，由于系统可以在很多种机器中传播并且部件是由很多人写成的，它会是多样的，充满活力的，并且任何团体也不能独占和滥用。

　　基本上，不管用这种还是那种方法，自动工程系统将能设计出比我们现在能设计的可靠得多的东西。我们面对的挑战是如何正确地设计它们。我们将需要可靠的人类机构来开发可靠的系统。

　　人类的组织机构是进化了的人工系统，它们可以解决个体解决不了的问题。这使得它们成了一种“人工智能系统”。公司，军队，和研究实验室都是例子。即使政府也可以看作人工智能系统——臃肿的，行动迟缓的，迷迷糊糊的，但是仍然具有超能力。

　　什么样的制约机制可以通过制度的多样性和冗余来增长政府的可靠性呢？当我们建造智能机器时，我们将使用它们来彼此制约。

　　通过应用健全性原理，我们可以发展可靠的，技术导向的具有很强的制衡能力的机构，然后使用这些机构来领导开发能掌控即将到来的突破的各种系统。

　　
　　实现组装机突破的策略

　　世界上的某些力量（无论是否可以信赖）将会在组装机的开发中处于领先地位，成为“领导力量”。因为组装机的战略重要性，所以可以推测领导力量将会是由政府控制的一些组织或机构。为了简化问题，假设我们（好人们，试图成为明智的人）可以为领导力量制定政策。对于民主国家的公民来说，这是应该持有的一个好的态度。

　　我们应该做什么才能增加我们进入美好未来的机会呢？我们能够做什么呢？

　　我们可以从防止可能发生的事着手：我们不能让一种错误形式的可复制组装机落到一个未做好准备的世界上去。有效的准备是可能的（我将会谈到），但是可能得等到危险的复制机已经被造出来后才能造出这样的基于组装机的保护系统。提前设计可以帮助领导力量作准备，但是即使是有活力的，有先见之明的行动也似乎不能阻止危险的到来。原因是很直接的：危险的复制机比能阻止它们的系统要容易设计的多，就象细菌比免疫系统要简单的多一样。我们将需要能牵制纳米技术的策略，当我们还在学着驯服它的时候。

　　一个明显的策略是孤立隔绝：领导力量将能用很多道墙或在太空实验室中包容复制机系统。简单的复制机没有智能，它们不会逃逸或失控。包容它们不是很大的挑战。

　　更好的情况是，我们将能设计不能逃跑和失控的复制机，我们可以制造带有计数器的复制机（象细胞一样）来把复制品控制在一个固定的数量内。我们可以把它们设计成需要特殊的人造“维生素”，或需要在实验室的特殊环境下才能生存。虽然复制机可以比现代的任何有害物都更坚韧和更贪婪，我们还是能使它们有用而无害。因为我们能为它们画草图，所以复制机不需要基本的生存能力，象自然进化在活细胞中建立起来的那样。

　　更进一步，它们也不需要进化。我们可以给复制机发送冗余的“基因”指令，并用修复机制来纠正变异。我们可以设计让它们不能长时间的工作，使得一个持续的变异不致产生可观的积累导致破坏。最后，我们可以设计能抑制进化的方法，即使变异有可能发生。

　　实验显示大部分计算机程序（不同于特殊设计的AI程序，例如Lenat博士的EURISKO）很少响应变异，而仅仅是崩溃。因为它们不能向有用的途径变化，所以它们不能进化。除非它们被特别设计，由纳米计算机指导的复制机也享有这种障碍。现代生物相当擅长局部地进化因为它们继承了祖先的进化。它们进化出了进化的能力，这是有性生殖的复杂性的一个原因，在精子和卵子结合的过程中染色体片断重新洗了一遍牌。我们只要不给复制机以类似的能力就行了。

　　对领导力量来说，使可复制组装机有用、无害、稳定是容易做到的。阻止组装机被盗和被滥用是另一个不同的更大的问题，因为这是和聪明的对手之间玩的一场游戏。作为一种策略，我们可以通过提供安全形式的组装机来减少偷窃的动机。这也将减少其他组织独立发展组装机的动机。毕竟领导力量后面肯定会有跟随的力量。


　　受限的组装机

　　在第四章，我描述了在一个桶内的组装机怎样建造一台优秀的火箭发动机。我也指出我们将能制造象生物种子那样的组装机系统，吸收阳光和普通原料，生长成任何东西。这些特殊目的的系统不能复制自身，或只能复制固定数量。它们将按照程序来动作，一切行动听指挥。而没有用组装机制造的工具就不能为它们重新编程完成其他的任务。

　　使用这种受限的组装机，人们将能制造他们想要的数量范围内的东西，服从于机器内建的限制。如果不编制程序制造核武器，那么就不会有核武器；如果不编制程序制造危险的复制机，那么就不会有危险的复制机。如果我们编制程序来制造房子，汽车，计算机，牙刷，等等，那么这些产品会变得便宜和丰富。由受控的组装机制造的机器能让我们开拓空间，治愈生物圈，修复人类细胞。受控的组装机可以为世界上的人们带来几乎是无限的财富。

　　这一策略将使得马上就要面对拥有无限制能力的组装机的精神压力减轻。但是受限的组装机将会使某些合理的需要也无法满足。科学家需要可自由地编程的组装机来进行研究，工程师需要它们来测试系统设计。这些需要可以通过密封的组装机实验室来实现。

　　
　　密封的组装机实验室

　　想象一个拇指大小的可与计算机相连的东西，底部有一个设计精巧的平台。它的表面看起来象天然的灰色塑胶，印有一个序列号，而这个密封的组装机实验室本身也是由组装机制造的，里面很复杂。在里面的平台上面，是一台大的纳米电子计算机，运行着分子模拟软件（基于在组装机的开发过程中产生的软件）。现在组装机实验室连接好并开启，你的由组装机制造的家用计算机就会显示出组装机实验室里的纳米计算机模拟出的三维图像，各种原子显示成五颜六色的球。通过一个游戏杆，你可以引导虚拟的组装机臂来制造东西。程序可以使组装机臂移动得很快，在屏幕上建造精细的肉眼不可见的结构。模拟程序工作的很完美，是因为有纳米计算机的缘故：在你用模拟臂移动模拟分子时，纳米计算机指导实际的机械臂去移动实际的分子。然后它可以检测实际结果与程序计算结果是否相吻合。

　　在这个拇指大小的物体的另一端是一个多层的球体，一些运送能量和信号的细导线穿过这些层，把基座上的纳米计算机与球的中心相连。最外面的层由许多微小的传感器组成，任何移动或刺破的企图都会触发一个信号送到接近中心的层。下面一层是一层厚的钻石结构的复合材料受力层，外部被拉伸而内部被压缩。它的下面包着一层绝热层，再里面是一层由微小的金属和氧化剂块排列组成的球壳，其上点缀着微小的电点火器，最外面的传感器层，如果被刺破，就触发这些电点火器，金属氧化剂炸药就会马上爆炸，生成一团金属氧化物气体，气体的密度比水还大，温度和太阳表面温度差不多。但是这团火花是很微小的，很快就冷却，外面的钻石球壳也承受得住爆炸的压力。

　　这个炸药层包围着一个更小的复合层，包围着另一层传感器，也可以触发爆炸，最里面这层传感器包围着实际的密封组装机实验室。

　　这些精心的防范证明了一个词“密封”。外部的人不能完整地打开实验室而不摧毁里面的东西，里面的组装机和组装机建造的东西也不能跑出来。这个系统设计成只可以传出信息，而不能传出危险的复制机和危险的工具。每个传感器层由很多冗余的传感器层组成，每个都能探测出渗透和泄漏，覆盖了所有的表面空间。渗透，会触发炸药爆炸，从而使整个实验室的温度超过了所有物质的熔点，使得任何危险装置的外泄是不可能的。这些保护机械保护着只有它们百万分之一大小的东西，球型的实验室空间直径还达不到人的头发丝的直径。

　　虽然按照我们通常标准来说它是小的，但是这个实验室空间还是能够容纳上百万的组装机和1015个原子。在这些密封实验室中可以建造以及测试装置，即使是贪婪的复制机，也十分安全。小孩可以把里面的原子当作用不完的积木搭来搭去。爱好者们可以互相交换建造各种小玩艺的程序。工程师们可以建造并测试新的纳米技术装置。化学家，材料科学家，和生物学家可以建造仪器和进行实验。在充满生物样品的实验室中，生物工程师将开发和测试早期的细胞修复机器。

　　在研究过程中，人们自然会发展有用的设计，无论是计算机电路，高强度材料，医疗设备，还是其他什么东西。在经过公众对安全性的评估之后，它们可以通过可编程的受控制的组装机在密封实验室外制造。密封实验室和受控组装机形成互补的一对：前面那个可以让我们自由地创造，后面那个可以让我们安全地享用发明成果。在设计和发布之间实现暂停的能力可以让我们避免致命的事件发生。

　　密封的组装机实验室将能让整个社会都把创造力用于解决纳米技术的问题，这将使我们能及时地做好准备，防止某一个独立力量滥用技术。

　　
　　隐藏信息

　　在另一个争取时间的策略中，领导力量可以尝试去截断从体积技术到分子技术之间的过渡桥梁。这意味着摧毁第一个被发明出来的组装机的制造记录（或者完全封存记录）。领导力量将能独立地开发组装机而使得其他人至多只知道其中很小一部分的细节。想想我们在第一章中提出的路线吧。我们用来制造第一个原始的组装机的蛋白质机器将很快就被抛弃不用。如果我们销毁了蛋白质机器的设计记录，这将阻碍复制它们的努力，但不会阻止纳米技术的进一步发展。

　　如果密封实验室和受限组装机得到普遍应用的话，人们就没有什么科学和经济上的理由要重新独立地开发纳米技术了，而打断与体积技术之间的桥梁也将会使得独立开发变得更加困难。但这比拖延战术也好不到哪里去。它们不能阻止独立开发。对权力的渴望使得人们会努力研发并最终取得成功。只有一个在极权范围内的详细的全面的政策才能不确定地阻止独立开发。如果这个政策被任何类似于现代政府的机构执行的话，这样的治疗就和疾病一样危险。即使到那时，人们还会永远保持警惕性吗？

　　似乎我们要学会和靠不住的复制机共存在一个世界上。某种对策可能会是躲在墙后或跑得远远的。但这些都是靠不住的方法：危险的复制机会打破这堵墙或穿过距离，带来灭顶之灾。并且，墙只能挡住小的复制机，而不能挡住大规模的，有组织的犯罪。我们需要一个更有力的，更灵活的方法。


　　活性盾

　　我们可以制造类似于生物免疫系统中的白血球那样的纳米机器：这种装置不仅可以与细菌和病毒战斗，还可以和所有危险的复制机战斗。可以把这种自动防护系统称为“活性盾”，以和固定的防护墙作区别。

　　和普通的工程系统不同的是，可靠的活性盾不是只能应付自然的或笨拙的对手。它们必须能面对更大得多的挑战——对付占优势的人类力量能设计和制造的所有威胁。建造和改进活性盾的原型就和在实验室规模下进行的一场由红蓝双方参加的军备竞赛类似，但是目的是寻找实现成功防御的最低需求。

　　在第五章，我描述了Lenat博士和他的EURISKO程序是如何进化出成功的舰队来按照海战模拟游戏的规则进行战斗的。用相似的方法，使用不同尺寸的密封的组装机实验室作为游戏场所，我们可以把开发可靠护盾的严肃的努力变成游戏。我们可以任由一群工程师，计算机黑客，生物学家，爱好者，和自动工程系统参加比赛，使他们的系统在游戏中互相竞争，仅仅受限于初始条件，自然法则，和密封实验室的墙壁。这些竞争者将在一系列微小的瓶子中进化各种威胁和防御的方法。当可复制组装机给我们带来富足的时候，人们就会有足够的时间来玩这个重要的游戏。最终我们能在太空中的模拟地球的环境中，测试有前途的防护系统。成功的系统将能保护人类和地球生态环境不受坏的复制机的影响。


　　成功是可能的吗？

　　因为我们现在的不确定性，我们还不能准确地描述任何威胁与防护。这是否意味着我们对实现有效的防护还没有信心？当然不是，毕竟在知道什么事是可能的和知道怎么去做之间是有一些不同的。从这个角度来说，当今世界就有一些成功的例子。

　　防御入侵的复制机其实没什么希奇的，生命已经防御了很长时间了。可复制组装机虽然非常厉害，但也和那些我们已知的物理系统没什么区别。经验告诉我们它们可以被控制。

　　病毒是入侵细胞的分子机器，细胞使用分子机器（诸如限制酶和抗体）来防御它们。而细菌是入侵生物组织的细胞，生物组织使用细胞（诸如白血球）来防御它们。同样地，社会使用警 察来防御犯罪和用军队来防御入侵。在非物质层面上，思想用某种拟子系统诸如科学的方法来抵御胡说八道，社会使用某种机构诸如法庭来抵御其他机构的权力。

　　上个段落中提到的生物的例子显示经历了几十亿年的军备竞赛后，分子机器能够成功地抵御分子复制机。当然失败也很普遍，但成功的例子显示了防御是可能的。这些成功的例子暗示着我们的确可以使用纳米机器来防御纳米机器。虽然组装机将带来很多进步，但它们也可能打破防御的平衡。

　　上面的例子——一些进化的病毒，一些进化的机构——足以说明成功的防御依赖于普遍法则。你可能会问，为什么所有这些防御能成功？不妨反过来问：为什么它们应该失败？每个相似的系统都彼此争斗，攻击者并没有显著的优势。每次冲突，都使攻击者面对很好的防御。防御者立足于本地，具有准备好的位置，详细的局部信息，储存好的资源，和丰富的盟军——当免疫系统识别出微生物后，它就能调动整个身体的资源。所有这些优势是普遍的和基本的，和技术细节没什么关系。我们可以使我们的活性盾对危险的复制机具有同样的优势。在危险武器积聚的时候它们也不会闲着。就象免疫系统在细菌繁殖的时候不会闲着一样。

　　预测由可复制组装机武装起来的力量之间的军备竞赛结果是困难的。但在这种情况出现之前，领导力量似乎可以获得一个暂时但是压倒性的军事优势。如果军备竞赛的结果是不确定的，领导力量就会使用它的力量来确保没有对手能赶上。

　　如果这样的话，活性盾就不用去面对以半个大陆或半个太阳系的资源作为支撑的进攻的威胁了。它们就会象警 察或免疫系统那样面对由秘密的资源支持的进攻的威胁了。

　　在上述每个成功的防御例子中，进攻者和防御者同样地进化。免疫系统，由基因进化形成，面对着同样由基因进化形成的威胁。军队，由人的思想形成，也面对同样的威胁。类似地，活性盾和危险的复制机都由拟子进化形成。如果领导力量能开发出比人类工程师快一百万倍的自动工程系统来，并且能连续使用一年的话，他就能建造基于一百万年工程进步的活性盾了。用这样的系统我们就能够探索可能的防护极限，以可靠地防御所有物理的威胁。

　　即使我们不知道威胁和防护的细节，似乎也有理由相信防御是可能的。拟子控制拟子的例子以及机构控制机构的例子也暗示了AI系统可以控制AI系统。

　　在建造活性盾的过程中，我们可以用复制机和AI系统的威力来增加防御力量的传统优势：我们能获得压倒性的优势，基于相当于一百万年技术进化的设计，和丰富的复制机制造的硬件的力量。我们建造的有力而可靠的活性盾将使过去的系统自愧不如。

　　纳米技术和人工智能可以带来终极的毁灭工具，但是它们并不是坚不可摧的。小心使用，它们能带给我们终极的和平的工具。 

--

※ 来源:·哈工大紫丁香 bbs.hit.edu.cn·[FROM: 202.118.232.13]