在这个星球上，我们是当下最聪明的物种，所有其他生命都依赖于我们的善意才能继续生存。那么，我们的命运是否将取决于这些卓越的超级智能机器的善意？下一个要讨论的问题是，超级智能机器能简单地消灭我们吗？这会是人类的末日吗？两者都将机器描述为邪恶的。但无能，而不是恶意，似乎是更有可能的风险。当然，我们必须考虑超级智能机器可能在不经意间带来人类终结的可能性。并且有几种情况可能会发生这种情况。在电影《魔鬼终结者》中，以天网为首的人工智能正试图消灭所有幸存的人类炼金术。第一个风险场景是超级智能机器的目标可能设计不当。希腊神话中的迈达斯国王就说明了这一点。有人实现了他的愿望，即他所触及的一切都会变成金子。但是国王明确指出了他真正想要的东西：他不想要食物，也不想要他的女儿变成金子。在神话中，迈达斯遇到了自己的女儿，误将她变成了金像。有人可能会争辩说，人工智能已经以一些小而不太危险的方式展示了这一点。例如，在2017年研究人员报告的实验中，他们教计算机玩划船视频游戏《赛艇大亨》。AI没有完成比赛路线，而是学会了绕小圈并撞到其他船只，因为它比实际完成比赛更快地获得积分。由于超级智能机器非常聪明，它实现目标的方式可能会让我们大吃一惊。假设我们想要超级智能机器来治愈癌症。为此，一种方法是消灭所有可能携带癌症的宿主，从而将人类带入世界末日。当我们要求它治疗癌症时，这并不是我们想要的。一个类似的例子是用相当模糊的术语来构想超级智能。如果我给你治疗癌症的工作，而你开始杀人，我可能会认为你不那么聪明。我们想象一个聪明的人，他学会了善的价值并理解他人的痛苦，尤其是敏感和情绪化的人。超级智能不应该是明智和聪明的吗？回形针无处不在第二个风险场景是，即使目标被正确指定，仍然可能存在使人类受害的不利副作用。任何对某些计算机程序代码进行过故障排除的人都知道，在解释指令时，计算机的死板程度令人沮丧。Berstrom著名的思想实验探讨了这种风险。假设我们建造一台超级智能机器，目标是制作尽可能多的回形针。由于机器是超级智能的，它会非常擅长制作回形针。机器可能会开始建造越来越多的回形针工厂。最终，整个星球将变成回形针工厂。机器完全按照它被告知的去做，但它对人类不利。是他们还是我们？第三种风险情景是，任何超级智能都有可能与人类的持续生存相冲突的子目标。假设一个超级智能有一些总体目标，比如提高人类幸福感或保护地球。几乎任何你能想象到的这样的目标都必须依靠超级智能来开发资源才能实现。它还必须允许超级智能继续运行，以便实现其目标。但人类可能会关闭机器。此外，人类会耗尽用于使超级智能本身的目标更好的资源。因此，合乎逻辑的结论是超级智能想要消灭我们。这样，我们就无法关闭它，也无法耗尽本可以更好地用于其目标的资源。在电影《2001:太空漫游》中，HAL9000计算机可能代表了人工智能自卫驱动中最著名的愿景。HAL竭尽全力阻止发现一号上的宇航员关闭他们的计算机，因此开始杀死他们。电影中最经典的场景之一《2001：太空漫游》暗示着人类创造的机器逐渐脱离了人类的控制。第四种风险情景是，任何超级智能都可能会自我修改并开始以不同的方式运作。甚至为自己指定新的目标。如果我们给它的目标是让自己变得更聪明，那么这种情况尤其可能发生。我们如何确定重新设计的超级智能机器仍然符合人类价值观？新系统可能会放大原本无害的地方，也可能对我们非常有害。移动目标不一定只是超级智能，它运行的更大系统也是如此。我们在人类机构中看到过这种现象：使用的名称是“使命偏差”。你决定派一些军事顾问去越南，十年后，战场上有数十万士兵在打一场无法取胜的全面战争。不敏感第五个风险场景是，任何超级智能都可能对我们的命运完全不敏感，就像我对一些不那么聪明的生命形式的命运不敏感一样。如果我在走路，我不必担心甚至不知道我踩死的蚂蚁。我不会特意去消灭蚂蚁，但它们恰好就在我的路上。同样，超级智能不一定会非常关心我们的生存。如果我们碰巧妨碍了它的目标，我们可能就会被消灭。超级智能并不意味着对我们不利，我们只是受苦。我们应该担心吗？其中一些存在的风险是由超级智能很快得出的。如果发生这种情况，我们几乎没有机会看到问题并加以纠正。但正如我们所见，有很多理由可以假设不会出现技术奇点。如果是这样的话，随着我们努力构建越来越好的系统，超级智能更有可能慢慢出现。我的大多数同事认为，超级智能即使不是几个世纪，也需要几十年的时间；如果他们是对的，我们应该有足够的时间采取预防措施。知道在过去的十年里，已经形成了一个专注于人工智能安全的研究社区，你可能也会松一口气。部分资金来自特斯拉首席执行官埃隆马斯克数千万美元的赠款，现在美国、英国和其他地方的研究小组正在寻找针对我刚才概述的风险的技术解决方案。我很确定，通过这些努力，人工智能不会很快消灭人类。然而，我们不能完全忽视超级智能带来的生存威胁。但我们或许应该关注更直接的存在威胁，以及人工智能带来的更直接的非存在威胁。你不必相信我的话，人工智能可能不会成为人类面临的最大生存风险。2017年9月，《泰晤士高等教育》对50位诺贝尔奖获得者进行了调查，气候、人口增长、核战争、疾病、自私、无知、恐怖主义、基本教义和当时的美国总统，排名对人类人口的威胁大于那个的人工智能。因此，担心AI只能消灭人类是没有根据的，你同意吗？
