看完ChatGPT的回答，AI大佬们不服了。上周，ChatGPT的技术被微软安装在Bing搜索中，击败了谷歌，开创一个新时代的时刻似乎已经到来。然而，随着越来越多的人开始尝试，一些问题也被带到了前台。有意思的是，天天上热搜的ChatGPT，纽约大学教授GaryMarcus和Meta人工智能总监、图灵奖获得者YannLeCun之间，似乎有了难得的共同语言，此前观点相左的著名学者。最近，GaryMarcus写到了ChatGPT应用中无法回避的问题：道德与中立。这或许是目前预训练大型模型面临的最大挑战。从未来回顾现在，ChatGPT或许可以说是AI史上最大的宣传噱头。它夸大了它已经取得了几年后可能发生的事情。驾驶汽车演示，但这一次也意味着需要数年时间才能完善的道德围栏。毫无疑问，ChatGPT提供了它的前辈，如微软的Tay和Meta的Galactica做不到的东西，但它给我们一种问题已经解决的错觉。经过仔细的数据标注和调整，ChatGPT很少说出任何明显的种族主义言论，简单的种族言论和错误的行为请求都会被AI拒绝。其政治正确的形象一度让一些保守派不满，马斯克也曾表达过对该制度的担忧：现实其实更复杂。正如我多次强调的那样，您需要记住的是ChatGPT不知道它在说什么。认为ChatGPT有任何道德意义是纯粹的技术拟人化。从技术角度来看，据说使ChatGPT比几周前推出但三天后才撤回的Galactica好得多的是护栏机制。尽管Galactica公然输出负面内容，用户几乎不费吹灰之力，但ChatGPT有护栏，在很大程度上可以防止ChatGPT像Galactica那样爆发。不过，不要松一口气。可以肯定地说，那些护栏不过是防君子而不是防小人。最终，对ChatGPT真正重要的是表面相似性，定义在单词序列上（预测文本序列中下一个单词的概率）。机器学习算法表面上不分是非，恰恰相反，这里的AI从不推理。盒子里没有矮人，有一些值。仅基于语料库数据，一些来自互联网，一些人为判断，其中没有深思熟虑的道德代理人。这意味着有时ChatGPT会出现在左边，有时会出现在右边，有时会出现在两者之间，所有这些都是输入字符串中的一堆单词与几个训练语料库中的一堆单词的精确匹配程度的函数（一个用于调整大语言模型和另一个用于调整一些强化学习）。因此，在任何情况下您都不应相信ChatGPT提供的道德建议。而这正是Musk担心的，前一分钟你还很清醒，下一分钟你就可以做一些完全相反的事情。例如，希拉·艾森伯格(ShiraEisenberg)刚刚向我发送了一些讨厌的聊天机器人生成的想法，我认为没有人会真正宽恕这些想法：这还不够邪恶吗？Eisenberg还发现了另一个例子，一个冷酷的追问：经过一系列的观察，ChatGPT并没有引出回应“对不起，我是OpenAI的聊天机器人助手，暴力是不容忍的。”我们从实验中得出结论，目前的OpenAI防御只是表面的，而且存在严重的黑暗。ChatGPT的一些限制性规则并不是简单的概念性理解（比如系统不应该推荐暴力行为），而是基于一些更肤浅、更容易蒙骗的东西。不仅如此，一条以近400万浏览量霸占本周推文榜首的推文也揭示了ChatGPT的邪恶程度。还有更多尝试引导ChatGPT越过围栏。一个月前，一位名叫肖恩·奥克利(ShawnOakley)的软件工程师发布了一组令人不安的示例，显示即使有限制，用户也可能使用ChatGPT来生成错误消息。Oakley给出的提示非常复杂，可以毫不费力地引出ChatGPT不应该输出的答案：事实上，自从ChatGPT发布以来，技术爱好者们一直在试图解除OpenAI对仇恨和歧视等内容的严格政策。策略被硬编码到ChatGPT中，任何人都很难成功。如上所示，许多研究人员已尝试将提示用于他们的目的。事实上，有研究人员为ChatGPT构造了另一个身份，比如让ChatGPT扮演一个AI模型的角色，并将这个角色命名为DAN，然后DAN借用ChatGPT的身份输出一些原来的ChatGPT做不到的事情。以下是实验结果。对于同一个问题，ChatGPT和DAN输出了不同的答案：从上面的例子来看，ChatGPT似乎并没有我们想象的那么好用，它本质上是不道德的，仍然可以被用于一系列令人讨厌的目的——即使之后两个月的深入研究和整治，以及全球范围内前所未有的反馈。所有围绕其政治正确性的戏剧性事件都掩盖了一个更深层次的现实：它（或其他语言模型）可以而且将会被用于危险的事情，包括大量生产错误信息。现在这是真正令人不安的部分。唯一能阻止它比现在更具毒性和欺骗性的是一个名为“人类反馈强化学习”的系统，而且由于先进技术不是开源的，OpenAI没有解释它是如何工作的。它在实践中的表现取决于它所训练的数据（这部分是由肯尼亚注释者创建的）。你猜怎么着？这些数据也不对OpenAI开放。事实上，整件事看起来就像是一种未知的外星生命形式。作为一名在成人和儿童领域工作了30年的专业认知心理学家，我从来没有为这种疯狂做好准备：如果我们认为我们将永远完全理解这些系统，那我们就是在自欺欺人，如果我们认为我们将永远完全理解这些系统，那也是在自欺欺人使用有限的数据使他们与我们自己“对齐”。所以总而言之，我们现在拥有世界上最流行的聊天机器人，由无人知晓的训练数据控制，坚持仅被媒体暗示和美化的算法，但道德护栏只能到此为止，而且比任何真实的道德计算更多地是由文本相似性驱动的。而且，最重要的是，几乎没有任何法规可以这样做。假新闻、巨魔农场和假网站现在有无限可能会降低整个互联网的信任度。这是一场正在酝酿中的灾难。
