随着人工智能（AI）技术的发展，会不会有一天出现“超人”的人工智能，如果出现，会不会成为世界上最具爆炸性的事件？人类历史？超人AI不是科幻电影或小说中描述的机器人，拥有与人类对抗的强大能量和感知能力。相反，超人AI是我们创造的机器，它吸收更多的信息来观察未来，超越人类在现实世界中的决策能力。人类是被祝福还是被诅咒是无法预测的。美国伯克利大学计算机科学教授斯图尔特·拉塞尔认为，AI可能会变成超人，所以在它“进化”成超人之前必须加以阻止，但为什么会出现，他认为是发展方向错误导致的目前的人工智能。今天的“标准”AI可以说是一种通过运算实现目标的智能机器。但是机器没有自己的目标。目标是我们给的。我们建造机器，给它目标，让它运行。机器越智能，就越容易实现目标。这一切都是完美的，只要我们给的目标是完整和正确的，一旦给错了目标，机器的智能比我们高，后果不堪设想。目前AI智慧的发展还处于起步阶段，如果只是用在生活琐事上，也会有弊端。未来全球事务一定会用到超人AI，失误就是灾难。比如用超人的AI来控制地球的天气，目标是减少工业化前的CO2排放。为了实现这个目标，超人AI可能被解读为将地球人口减少为零。关掉机器？那个时候的AI不会让你有一个开关可以关掉它，或者一个插头可以拔掉它。为防止超人AI，Russell教授提出了一个新概念，让AI成为“受益”的机器，通过运行达到“我们”的目的。我们是广义的，指的是全人类的高品质内涵。这是一种模糊和不确定的不确定性，是安全情报系统的重要功能。也就是说，无论智能进化到多么先进，机器都必须始终尊重人类，会向人类提出要求，接受错误，并允许它被关闭。当然，这样的新AI还有很长的路要走。华盛顿大学计算机教授OrenEtzioni提出了另一种方法。他表示，目前的AI还远谈不上智能。框定问题，然后设计它来解决它。AlphaGo打败围棋高手应该归功于DeepMind这群人的智慧，而不是机器。不过，针对越来越多的“超级智能”危害人类的讨论，他设置了几只“金丝雀”作为警示指标。一百多年前，进矿井挖煤的人，会把金丝雀带下来。金丝雀对一氧化碳和其他有毒气体非常敏感。如果他们死了，那将是矿山灾难的警告信号。人工智能不会在一夜之间发展成为超级智能。一旦金丝雀宕机，红灯亮起，我们再去控制它也不迟。Etzioni教授提出的三大预警金丝雀是：规划学习问题、自动驾驶汽车、机器人医生。规划一个学习问题也可以说是为机器学习提一个问题，包括描述问题、简化问题、数据设计、学习能力等。这些任务对人类来说都不容易，何况是AI？如果这只金丝雀掉下来了，现在还毫无征兆。自动驾驶汽车越来越多，但离理想还有一段距离。AI在特殊情况下失控，可能会引发灾难，比如遇到坐轮椅的人过马路。自动驾驶汽车面临的挑战是在不可预测的人车交互现实环境中实时做出挽救生命的决策。我们可以逐步增加自动驾驶汽车并减少事故，但金丝雀在达到与人类相当的驾驶水平之前不会掉下来。机器人医生已经存在了很长时间。有的可以诊断疾病，有的可以准确解读医学影像，但这只是医生工作的一小部分。如果AI医生能咨询患者，考虑疾病的并发症，咨询其他医生，像人类医生一样了解患者，工作范围广，金丝雀就有低头的机会。上述两位学者分别采用了不同的方法来预防和监控人工智能的过度发展。都是长远的考虑，但是现在AI已经走进了我们的日常生活。很多以前由人决定的事情，比如申请入学、求职、晋升、贷款，甚至罪犯的量刑，现在往往都由AI来决定。这些人生大事的决定，人为因素太多。为了寻求公平和使用人工智能，我们希望减少人类的影响。人工智能是由人类设计的。人类偏见也会转移到AI偏见上。有些人因此受到不公平的对待，成为AI亟待解决的问题。幸运的是，问题已经被发现，越来越多的学者在研究解决方案，但涉及面太大，需要各个领域的合作，才能将公平放入AI，而定义“公平”又成了另一个挑战。这不是人工智能的问题，而是人类的问题。
