计算能力有限，但因此，人类无法控制超人工智能。近日，一项新研究发现，从理论上讲，人类不可能控制超级人工智能。更糟糕的是，该研究还明确表示，人类无法在生成该AI时发现它。令人欣慰的是，根据不止一项预测，任何通用超级计算机超越人类的时间还需要几十年。近年来，人工智能在国际象棋、围棋、德州扑克、危险边缘等游戏中已经超越了人类。曾在Dota2和星际争霸游戏中与顶级玩家来回打过，不时引起小恐慌。有人担心，超越人类的机器智能有一天会把人搞糊涂。“超级智能是否受制于人类控制的问题实际上由来已久，”西班牙马德里自治大学的计算机科学家ManuelAlfonseca说。“这可以追溯到1940年代阿西莫夫的机器人三定律。”任何形式的交流都是有风险的。人们耳熟能详的机器人三定律最早是由科幻作家艾萨克·阿西莫夫在1942年的短篇小说集《我，机器人》中提出的。规则如下：机器人不得伤害人类，或允许人类受到伤害；机器人必须服从人类的命令，除非该命令与第一定律相冲突；只要不违反第一或第二定律，机器人就可以保护自己。在1985年的一本书《机器人与帝国》中，阿西莫夫将三大定律扩展为四大定律：增加第零定律——机器人不得伤害整个人类，或允许整个人类受到伤害。2014年，牛津大学人类未来研究所所长、哲学家尼克·博斯特罗姆(NickBostrom)不仅探讨了超级智能人工智能可能扰乱人类的方式，还探讨了此类机器可能的控制策略以及它们为何无法工作。尼克博斯特罗姆。Bostrom引用了两种可能的解决方案来解决这个“控制问题”。一是控制AI能做什么，比如不让AI上网；另一种是控制人工智能想做什么，比如教导人工智能规则和价值观，让它为人类的最大利益行事。根据Bostrom的说法，第一个解决方案的问题在于超级智能机器可能会摆脱人类强加给它的任何限制；第二种解决方案担心人类可能无法训练超级智能人工智能。计算的固有局限性可能导致人类无法控制超级人工智能研究人员认为，由于计算本身固有的根本限制，人类可能无法控制超级人工智能。他们说，任何旨在确保超级智能AI不会伤害人类的算法都必须首先模拟机器的行为，以预测其行为的潜在后果。如果超级智能机器确实可能造成伤害，那么此类遏制算法将需要阻止机器运行。但科学家认为，任何抑制算法都不可能模拟AI的行为，因此无法100%预测AI的行为是否会造成伤害。抑制算法可能无法正确模拟AI的行为或准确预测AI行为的后果以辨别这些故障。论文地址：https://jair.org/index.php/jair/article/view/12202/26642“阿西莫夫给出的第一定律实际上已经被证明是不可计算的，”Alfonseca说，“所以这根本不可能。“我们甚至不知道我们是否创造了超级智能机器——这是可计算性理论中莱斯定理的推论，该定理指出递归可枚举语言属性的所有非平凡属性都是不可判定的。本质上，我们无法仅通过查看程序本身来判断程序可能输出什么。当然，另一方面，我们也不需要提前为未来的机器人大师做准备。在本研究中，存在三个重要问题给论文的推论带来了不确定性。首先，Alfonseca预计强人工智能的关键时刻还很遥远，“至少两个世纪之后，”他说。其次，目前尚不清楚人们所说的通用人工智能或强人工智能在理论上是否可行。“这是指可以像人类一样处理多个领域任务的机器。”最后，阿方塞卡说：“我们没有证明超级人工智能永远无法被控制，我只是说它们永远无法被控制。”计算的复杂性是阻止人类控制强人工智能的一个重要原因。虽然我们可能无法控制高度人工化的代理，但可以控制超越人类水平的狭义人工智能——我们可以安全地依赖专门从事某些功能的机器人，而不是像人类一样执行多项任务。“我们已经拥有这种超级智能，”阿方塞卡说。“例如，我们拥有计算速度比人类快得多的计算机器。这也是狭义的超级智能。“
