我们无法完全正确地设定目标，也无法预测或预防追求错误目标的超级机器将在全球范围内造成的危害。我们已经看到了一些例子，例如社交媒体算法利用人们的偏好来优化点击，对民主制度造成灾难性后果。NickBostrom2014年的书《超级智能：路径、危险与策略》（超级智能：路径、危险、策略）详细阐述了认真对待风险的理念。《经济学人》（《经济学人》）杂志对该书进行了评论，并得出评论结论：“在地球上引入第二个智慧物种的意义深远，值得深思。”当然，利害攸关，智者我们已经在认真思考：认真辩论，权衡利弊，寻求解决方案，寻找解决方案的漏洞等等。据我所知，这些努力收效甚微，遭到了各种否认。一些著名人工智能研究人员的论点几乎不值得反驳。以下是我在文章中读到或在会议上听到的几十种计算器中的一些：因此，没有理由担心超人人工智能。历史上没有任何地方有机器杀死数百万人，鉴于此，未来也不会发生。宇宙中没有无限的物理量，智能也不例外，超级智能不用太担心。也许AI研究人员最常见的反应是：“我们可以将其关闭。”艾伦图灵自己提出了这种可能性，但他并不太自信：如果一台机器可以思考，它可能会比我们思考得更好。更全面地说，我们会在哪里？即使有可能将机器制服给我们，比如在关键时刻关掉电源，我们作为一个物种也应该感到羞耻……这种新的危险……一定会让我们感到焦虑。关闭机器是行不通的，原因很简单，一个超级智能实体肯定会考虑这种可能性并采取措施阻止它。它这样做不是因为它“想要生存”，而是因为它正在追求我们为它设定的目标，并且知道如果关闭它就会失败。我们不能简单地“关闭它”，就像我们不能简单地通过将棋子放在相应的棋盘格上来击败AlphaGo一样。其他形式的否认提出了更复杂的想法，例如智力是多方面的。例如，一个人的空间智能可能比其他人高，但社交智能却不高，所以我们不能按照严格的智力顺序对每个人进行排名。对于机器来说更是如此：将AlphaGo的“智能”与谷歌搜索引擎的“智能”进行比较是没有意义的。《连线》杂志的创始编辑和富有洞察力的技术评论员凯文·凯利(KevinKelly)将这一想法更进一步。“智能不是一个单一的维度，所以‘比人类更聪明’是一个毫无意义的概念，”他在《超人类人工智能神话》（超人人工智能的神话）中写道。柱子被打翻了。现在，有一个明显的答案，机器可能会在所有相关的智能维度上超越人类。在这种情况下，即使按照凯利的严格标准，机器人也会比人类更聪明。但这个相当强的假设并没有必要反驳凯利的论点。以黑猩猩为例。黑猩猩的短期记忆力可能比人类更好，即使对于人类擅长的任务，例如回忆数字序列也是如此。短期记忆是智力的一个重要维度。按照凯利的说法，人类并不比黑猩猩聪明，事实上他会说“比黑猩猩聪明”是一个毫无意义的概念。这对黑猩猩和其他仅因人类宽容而幸存下来的物种以及所有被人类摧毁的物种来说都不是安慰。同样，对于那些可能害怕被机器消灭的人来说，这也没什么安慰。有人认为，超级智能无法实现，因此超级智能的风险不复存在。这些说法并不新鲜，但令人惊讶的是，人工智能研究人员自己现在却说这样的人工智能是不可能的。比如AI100组织的重要报告《2030年的人工智能与生活》（人工智能与生活2030）就表示：“与电影场景不同，未来现实中不会也不太可能出现超人机器人。”据我所知，这是第一次有严肃的AI研究人员说出人类水平或超人AI的不可能，而且这是在AI研究蓬勃发展的时候，一个障碍一个接一个地被打破.这就像一群顶尖的癌症生物学家宣布他们一直在愚弄我们：他们一直都知道永远无法治愈癌症。是什么促使了这一重大转变？报告中没有提供论据或证据。（事实上??，有什么证据表明在物理上不可能有比人脑更好的原子排列？）我认为主要原因是部落主义——一种对抗可能对AI构成“攻击”的事物的方式，然而，本能地，它将超级智能AI视为可能对其构成攻击的东西似乎很奇怪，而认为它永远不会实现其目标就更荒谬了。我们不能通过押注人类聪明才智的极限来确保未来的灾难不会发生。严格来说，超越人类的人工智能并非不可能，难道我们不应该过早地担心它的风险吗？计算机科学家AndrewNg认为这就像担心“火星上的人口过剩”。尽管如此，长期风险仍将令人担忧。何时担心对人类来说可能很严重的问题不仅取决于问题何时发生，还取决于准备和实施解决方案需要多长时间。例如，要探测一颗将在2069年与地球相撞的小行星，我们会等到2068年才开始研究解决方案吗？当然不是！人类将建立全球紧急计划来寻找应对威胁的解决方案，因为我们无法提前知道我们需要多少时间。吴恩达的观点也让人觉得，我们不可能将数十亿人转移到火星上。这个类比是错误的。我们投入了大量的科学和技术资源来创建更强大的人工智能系统，而很少考虑我们成功后会发生什么。我们可以打个更恰当的比喻：计划将人类迁移到火星，不管抵达后的呼吸和进食问题。有些人可能认为这个计划是不明智的。回避潜在问题的另一种方法是断言人们对风险的担忧源于无知。例如，艾伦人工智能研究所的首席执行官OrenEtzioni指责ElonMusk和StephenHawking是Luddite（一种新技术的观点），因为他们呼吁人们关注人工智能的潜在威胁。盲目冲动的新事物叛逆者：每一项新技术创新都会让人们感到恐惧。从工业时代初期织工将鞋子扔进织布机，到今天对杀手机器人的恐惧，我们不知道新技术会对我们的自我意识和生计产生什么影响。当我们什么都不知道时，我们会恐慌。即使从表面上看这个经典的错误论点，它也站不住脚。霍金对科学推理并不陌生，马斯克监督并投资了多个人工智能研究项目。如果比尔·盖茨、I.J.提出担忧的Good、MarvinMinsky、AlanTuring和NorbertWiener被认为没有资格讨论AI。不再可信了。指责路德主义也是完全错误的。这就像当核工程师指出需要控制裂变反应时，却被指责为勒德分子。也就是说，提AI的风险，就是否认AI的潜在好处。再次以OrenEichioni为例：悲观的预测往往没有考虑到人工智能在预防医疗事故、减少车祸等方面的潜在好处。近日，FacebookCEO马克·扎克伯格与埃隆·马斯克进行媒体交流：反对人工智能就是反对更安全的不会引发事故的汽车，反对更准确的病人诊断。任何提到风险的人都是“反对人工智能”的想法很奇怪。（核安全工程师是“反对电”的吗？）更重要的是，整个论点恰恰是逆向的，原因有二。首先，如果没有潜在的好处，就没有人工智能研究的动力和人类水平人工智能带来的危险，我们也不会讨论它。其次，如果不能成功降低风险，就没有任何好处。1979年三哩岛、1986年切尔诺贝利和2011年日本福岛的灾难性事件大大降低了核能的潜在效益。这些核灾难严重限制了核工业的发展。意大利于1990年放弃了核能，比利时、德国、西班牙和瑞士也已宣布放弃其核能计划。1991年至2010年，年净新增核容量约为切尔诺贝利事故前几年的1/10。奇怪的是，考虑到这些事件，著名认知科学家史蒂文平克仍然认为，人们不应该提请人们注意人工智能的风险，因为“先进社会的安全文化”将确保所有重大人工智能风险。即使忽略切尔诺贝利、福岛事故和由于我们先进的安全文化而导致的失控的全球变暖，平克的论点也完全没有抓住要点。一个有效的安全文化涉及识别潜在的故障模式并找到预防它们的方法，而人工智能的标准模型就是故障模式。平克还认为，有问题的人工智能行为源于设定特定类型的目标。如果不考虑这些，就不会有问题：AI反乌托邦项目将狭隘的大男子主义心理投射到智能的概念上。他们相信具有超人智慧的机器人会制定诸如推翻主人或征服世界等目标。深度学习先驱、Facebook人工智能研究负责人YannLeCun在淡化人工智能的风险时经常引用同一点：我们不需要人工智能具有自我保护、嫉妒等本能……除非我们融入它们，否则破坏性的“情绪”就会出现。那些认为这种风险可以忽略不计的人并没有解释为什么超级智能人工智能必须处于人类控制之下。事实上，我们是否植入“情感”或“欲望”（例如自我保护、资源获取、知识发现，或者在极端情况下，世界统治）根本无关紧要。机器无论如何都会产生这些情绪，就像我们建立的目标的子目标一样——不管它是什么性别。正如“关掉机器”的想法所揭示的那样，对于一台机器来说，生命的终结本身并不是一件坏事。尽管如此，还是要避免生命终结，因为一旦发生生命终结，就更难实现了。“避免设定目标”论点的一个常见变体是，一个足够智能的系统必须凭借其智能，自行制定“正确”的目标。18世纪的哲学家大卫·休谟在《人性论》中驳斥了这种观点。在《超级智能》（Superintelligence）中，NickBostrom将休谟的观点视为一个正交命题：智能和最终目标是正交的：任何级别的智能都可以或多或少地与任何组合的最终目标相关。例如，自动驾驶汽车的目的地可以是任何指定地点；让汽车更好地自行驾驶并不意味着它会自动拒绝前往需要给定数学计算的地址。同样，不难想象一个通用智能系统可以被赋予或多或少的目标，包括最大化回形针的数量或圆周率的已知数字的数量。这就是强化学习系统和其他奖励优化器的工作方式：该算法是完全通用的，可以接受任何奖励信号。对于在标准模型中工作的工程师和计算机科学家来说，正交性命题是理所当然的。著名的机器人专家罗德尼·布鲁克斯明确批评了博斯特罗姆的正交性论点，他断言一个程序“不可能足够聪明，无法发明出颠覆人类社会的方法来实现人类打算做的事情。”目标而不了解它如何困扰人类。”然而，鉴于布鲁克对问题的定义，这样的过程不仅是可能的，而且实际上是不可避免的。布鲁斯克认为机器“实现人类设定的目标”的最佳解决方案正在给人类带来问题可以看出，这些问题反映了人类在设定目标时忽略了对人类有价值的东西，机器实施的最好的解决方案很可能会给人类带来问题，而机器很可能会意识到这一点，但是机器显然不认为这些问题有问题，这不关他们的事。总而言之，那些认为人工智能带来的风险很小的“怀疑论者”并没有解释为什么超级人工智能系统必须由人类控制；他们甚至不要试图解释为什么永远不会开发出超级人工智能系统。人工智能领域必须承担风险并尽其所能将风险降到最低，而不是继续深陷对立的困境。着陆器并反复挖掘不可信的论点。据我们所知，这些风险既不是微不足道的，也不是无法克服的。第一步是认识到必须更换标准模型，改变人工智能系统优化固定目标的方式。这是糟糕的工程。我们需要做大量的工作来重塑和重构人工智能的基础。
