我们很期待超级人工智能的出现，因为它的出现意味着很多任务都可以高效完成。然而，作为一个号称比最聪明、最有才华的人类还要聪明得多的人工智能，关于它可能带来的灾难性风险的讨论一直没有停止过。近日，由一群科学家组成的研究团队通过理论计算证明，遏制算法无法控制超级人工智能。这项研究主要是为了解决牛津哲学家NickBostrom提出的控制问题：我们如何确保超级智能符合我们的利益？根据超级人工智能的假设问题，研究人员构建了一种理论上的遏制算法，可以模拟AI的行为，当AI程序的动作出现有害行为时自动停止程序来解决问题。在尝试运行测试模型时，分析师分析了结果，发现构建可以控制超级智能AI的机器算法从根本上说是不可能的。团队成员IyadRahwan表示，如果把问题分解成理论计算机科学的基本规则，你会发现命令AI不要毁灭世界的遏制算法有可能不经意地暂停了自己。如果发生这种情况，用户实际上并不知道遏制算法是否还在分析超级人工智能可能存在的威胁，或者它是否已经成功阻止了有害人工智能。因此，这种情况的发生会妨碍遏制算法的有效使用。研究表明，由于计算的基本局限性，目前还没有算法可以顺利计算出超级人工智能是否会危及世界。假设一个超级人工智能是由一个通用图灵机在输入时可以执行所有复杂到世界级条件的程序，建立一个如此高标准的遏制算法，并在此基础上模拟超级人工智能程序，这在理论上是不可能的。到目前为止，这种超级人工智能还局限于幻想领域，但研究人员表示，人工智能技术的发展正在朝着科幻作家所设想的超级智能系统发展。研究团队成员之一、来自马克斯·普朗克人类发展研究所的曼努埃尔·塞布里安（ManuelCebrian）表示，目前已经有AI机器可以独立执行某些重要任务，而程序员如何学习去做还不完全明白了。所以基于这种存在提出问题，是否在某个时候这可能会变得无法控制，对人类造成危险。无论如何，发展超级人工智能的趋势不会按下暂停键，但要跟上遏制超级人工智能的方式。人工智能可以为我们服务，而不是造成灾难。
