北京时间7月9日，以下是GeorgeDvorsky对超级人工智能的看法：我相信机器智能将是人类埋下的最后一个祸根。二十多年来，我所想和所写的大部分内容都是关于机器智能毁灭人类的潜力。我为此受到了很多抨击，但我仍然想说，我们不能忽视未来人类文明可能被我们发明的工具摧毁的可能性。对超智能人工智能毁灭人类的想法有很多异议，其中一个异议出奇地普遍，我觉得很可笑。这并不意味着超级智能本身是不可能的，或者我们无法阻止邪恶的机器摧毁我们。天真的反对意见是，一台极其智能的计算机没有办法或动机终结人类。缺乏控制和理解想象一下，我们拥有生物或人工系统，其智能水平等于或远高于人类智能。通过基因工程、纳米技术、信息技术和认知科学的融合，我们可以从根本上增强人类大脑（甚至非人类动物的大脑），超越人类的机器智能很可能来自计算机科学，认知科学的认知进步和全脑模拟。然后，这些系统中的一个出现问题，或者它们被故意用作武器。不幸的是，一旦这些系统就位，我们很可能无法控制它们，也无法预测它们将如何响应我们的请求。苏珊·施耐德(SusanSchneider)是未来思维中心的主任，也是《人工你：人工智能与思维的未来》一书的作者。“这就是我们常说的控制问题。简单地说，你如何控制比我们聪明得多的人工智能，”她在一封电子邮件中解释道。施耐德将著名的回形针场景作为类比。回形针场景，其中一家回形针制造商的AI编程很差，它将最大限度地提高自己回形针生产的效率。相反，这个人工智能把地球上的一切都变成了回形针，从而毁灭了地球。牛津大学哲学家尼克·博斯特罗姆在他2014年出版的《超级智能：路径、危险、策略》一书中将这种风险称为“异常实例化”。或者更简单地说，用斯奈德的话来说，有一个魔法精灵的古老故事，其中三个愿望的实现“永远不会顺利”。在这里，普遍的顾虑是我们希望超级智能来做一些事情，而由于我们不知道这些事情要做的细节，超级智能会严重曲解我们的意愿，导致一些我们不想看到的事情发生。发生了什么事。例如，我们可以“希望”有一种有效提取太阳能的方法，结果却让超级智能夺取了我们整个星球的资源来建造一个超大型太阳能电池阵列。正如Bostrom推测的那样，要求超级智能“最大化人类福祉”，可能会迫使超级智能重新连接我们大脑中的快乐中心，或者将我们的大脑上传到超级计算机，从而迫使我们体验永生。那五秒钟的快乐循环。一旦超级人工智能出现，厄运就会以一些离奇和意想不到的方式降临。人工智能机器研究所的AI理论家EliezerYudkowski在他的论文中将超级智能视为一种优化过程，或者“在大搜索空间中击中小目标以产生符合现实世界效果的逻辑A系统”。问题在于，这些过程倾向于探索广阔的可能性空间，其中许多是我们甚至无法想象的。Yudkowski写道：“我正在访问一个遥远的城市，一位当地朋友提出开车送我去机场。我不了解周围的环境。当我的朋友来到十字路口时，我无法预料他会超车。哪个转弯的方向。但我仍然可以预测朋友一系列不可预测的动作的最终结果：我们将到达机场。尽管我朋友的家在城市的其他地方，所以他可能会做出完全不同的一系列转弯，但是我仍然可以自信地预测我们的目的地。从科学的角度来看，这不是一个奇怪的场景吗？我可以预测过程的结果，但我无法预测过程中的任何中间步骤。”脱离人类环境，并由其基于目标的编程驱动，一台机器可能会在它试图从A到B的过程中造成相当大的附带损害。可怕的是，人工智能还可能以多种方式利用和滥用一种强大的现有资源——人类——我们无法预测试图实现自己的目标。使AI对人类友好一个AI被预先设定好的道德考虑可能会避免其中的一些陷阱，但Yudkowski指出，我们几乎无法预测AI可能遵循的所有路径。控制问题的一种可能解决方案是在人工智能中灌输与人类兼容的道德原则。按照这种思路，如果我们能够成功，一台强大的机器或许能够避免造成伤害，或者避免以违反我们伦理道德的方式做自己的事情。Schneider说，问题在于，如果我们想要“以道德方式进行编程，那么我们需要一个好的道德理论，而我们在道德领域存在太多、太多的分歧。”很合理。人类从来没有达成一个人人都同意的共同道德准则。正如任何对火车问题有所了解的人都会告诉你的那样，道德问题在匆忙时会变得非常复杂。通过教导超级智能人类道德使其安全可控的想法可能行不通。方法和方法：“如果我们能够预测超级智能的行为，那么我们自己就是超级智能，”路易斯维尔大学计算机科学与工程教授RomanJanpolski解释说。聪明所以它可以想出一些未知的未知解决方案”来完成我们交给它的任务，无论该任务是设计一种治疗疟疾的新药、制定战场战略，还是管理当地电网。尽管如此，Yampolski相信我们或许能够通过观察聪明人如何试图统治世界或摧毁世界来预测超级智能的恶意行为。“例如，蛋白质折叠问题的解决方案，”它使用氨基酸序列来确定蛋白质的三维形状，“可以用来创造一支生物纳米机器人大军，”他说。当然，还有许多不那么新颖的。可以使用方法。人工智能可以完成一些股票交易，或者打扑克，或者写作，然后用这些收益雇佣人类来听。鉴于最近加密货币的流行，这种交易可以大规模秘密进行。”YangBo只要有足够的财力，你就可以轻松地从云中提取计算资源，并通过社会工程对它们进行影响现实世界，或者，正如Janpolsky所说，雇佣一支“人力大军”，Ersky说。”。超级智能可能会通过财富的积累、CPU性能、存储容量和影响范围的提升，逐渐变得更加强大和有影响力。可怕的是，超级智能可以在我们的指令之外做出一些如何行动的判断，西班牙马德里自治大学的计算科学家ManueliAlfonsoca解释说，超级智能人工智能可以“得出结论认为没有人类的世界会更美好，然后将我们消灭”，他说。他还补充说，一些人引用了这种可怕的可能性来解释为什么我们至今未能找到外星智慧生命；阿方索卡说，也许“所有地外智慧都已被超级智慧所取代。”，而人类在这些超级人工智能眼中只是低等的生命形式，所以他们无意与我们交流。”对于一个故意毁灭人类的超级智能来说，最容易成功的途径就是利用我们的生物学弱点.人类不吃东西可以活30天左右，不喝水只能活3-4天，但是如果没有氧气，我们连几分钟都活不了。很可能有足够智能的机器想出完全去除氧气的方法从我们的大气中，也许是通过某种自我复制的纳米技术群。未来学家将这种情况描述为全球生态吞噬，或可怕的“灰色粘性情景”。在这种情况下，大量精心设计的分子机器将寻找特定的资源并将它们变成其他东西，包括它们自己的副本。这种资源不一定是氧气，只是去除对人类生存至关重要的关键资源。非小说类I这一切听起来都非常科幻，但阿方索卡说小说的投机性质有助于强调潜在的风险，特别是《黑客帝国》。施耐德也相信虚构的力量，引用了反乌托邦短片《屠戮机器》。在这部短片中，武装无人机袭击了一间教室。施耐德说，对危险的人工智能和自动杀人机器的担忧“临近了”。例如，无人机技术可以利用现有的面部识别软件来瞄准人类。“这是一个严重的问题，”施耐德说。所以，她认为，《屠戮机器》非常值得一看。在2017年的一本书中，麻省理工学院机器学习研究员MaxTegmark写道，《终结者》等电影在呈现模糊的未来可能情景的同时，也“让人们的注意力偏离了人工智能所带来的真实风险和机遇”。Tegmark设想了一个更微妙的，更阴险的场景。在他的设想中，机器通过狡猾的社会工程和诡计，以及稳定收集有价值的资源来统治世界。在他的书中，泰格马克提到“普罗米修斯”。这是一个假设的人工智能（AGI）利用其自适应智能和多功能性“以多种方式控制人类”，反抗者无法“简单地关闭普罗米修斯摇摆”而失控。就其本身而言，通用机器智能的出现注定影响深远，很可能成为人类历史的转折点。通用人工智能“将有能力递归地设计出更好的通用人工智能。最终，物理定律将是这种不断改进的通用人工智能的唯一限制。当然，物理定律所允许的智能似乎远远超出人类的智力水平，”泰格马克写道。换句话说，人工智能可以用来发明超级智能。这样一个时代，一个我们人类可能见证“智能爆炸”的时代，会产生一些严重的、不希望的后果。泰格马克写道：“如果一群人类成功地控制了智能爆炸，那么这群人可能会在几年内统治世界。如果人类无法控制智能爆炸，那么人工智能本身将更快地统治世界。”永远。旁观者的另一个关键弱点与人类越来越多地被排除在技术周期之外的方式有关。众所周知，如今大多数股票交易都由算法进行；也许更臭名昭著的是，它们现在也可以在近距离空战中击败人类F-16飞行员。越来越多的人要求人工智能在没有人工干预的情况下做出重大决策。施耐德担心“军队中已经存在人工智能军备竞赛”，“对人工智能的依赖增加将阻碍人类的感知和认知能力以足够快的方式应对军事挑战”。施耐德表示，我们会??请人工智能为我们完成这些任务，但我们仍然不知道如何让人类继续留在这个技术循环中。她还解释说，可以想象，面对军事攻击，人工智能最终会为我们而战——甚至在我们人类能够合成传入数据之前。人类容易犯错，尤其是在战场上承受压力时，但人工智能的误判可能会带来额外的风险。于是我们不禁想起了1983年发生的一起事故，当时苏联的预警系统险些引发核战争。科幻作家艾萨克·阿西莫夫已经预见到这一天的到来。在他的小说中，尽管受到机器人三定律的约束，他的机器人还是会遇到各种各样的麻烦，尽管我们人类已经尽力了。如果我们尝试做类似的事情，可能会出现类似的问题。Schneider说，虽然就道德准则达成共识来指导我们的机器人同伴本身就很困难。但是，我们别无选择，只能试一试。考虑到赌注，微笑失败并不是真正的选择。正如Bostrom所说，我们的“智慧必须胜过我们的技术”。现在危在旦夕的是一系列潜在的全球性灾难，这些灾难甚至早于超级智能。毫无疑问，我们人类显然根本不擅长应对全球性灾难。新型冠状病毒及其棘手的变种几乎没有智能，但该病毒仍然能够利用我们的弱点——无论是生物的还是社会的——并被动地运作。导致全球大流行的病毒可以适应我们的预防措施，但只能通过一个随机突变和选择的过程，这个过程一直受到生物学的限制。更不祥的是，一个邪恶的人工智能可以设计自己的“低智能”病毒，并不断调整该病毒以创造新的、更致命的变种来对抗我们的防御。疫情初期，扬波尔斯基曾表示：“这种病毒的智商几乎为0，却让我们筋疲力尽。人工智能安全（部分）等同于计算机病毒，但它的智商高达1000或者更多。”不幸的是，正如我们所知，超级人工智能并不缺乏终结人类文明的方法，不是通过简单的蛮力，而是通过自适应设计、增强态势感知和快速计算响应，以更有效的方式终结人类文明.那么，是否有可能创建一个安全、有益和符合道德规范的人工智能？唯一的选择可能在于在全球范围内禁止开发近乎超级智能的人工智能。虽然这不太可能，但肯定是必要的。(林允)
