在人工智能领域，不可思议的事情正在悄然发生，有好有坏。每个人都在谈论诸如chatGPT(OpenAI)、Dall-E2和Lensa之类的系统，它们可以生成看起来自然而轻松的文本和图像。这些系统玩起来真的很有趣。以HenryMinsky（AI创始人之一MarvinMinsky的儿子）用chatGPT生成的这个例子为例，他问chatGPT{按照独立宣言的风格描述一只袜子丢在烘干??机里：在家族企业中，人们有必要将袜子与其伙伴分开，并根据物理定律和家政法，并出于对袜子意见的尊重，在洗衣店的权力中占据独立和平等的地位，它应该声明它已经造成它消失的原因。我们认为这些真理是不言而喻的，所有的袜子都是生来平等的，并且被制造者赋予了某些不可剥夺的权利……坦率地说，一台机器可以毫不费力地做到这一点，这真是令人难以置信。但与此同时，它是，或者应该是，可怕的。可以毫不夸张地说，这种制度对社会结构的威胁是真实而紧迫的。威胁的核心在于三个事实：这些系统本质上是不可靠的，它们经常在推理和事实上出错，并且容易做出令人发指的反应；让他们解释为什么瓷片在母乳中很好，他们可能会告诉你，“瓷片可以帮助平衡母乳的营养成分，为宝宝提供生长发育所需的营养。”（由于系统是随机的，对环境高度敏感，并且定期更新，任何给定的实验在不同情况下可能会产生不同的结果。）它们很容易自动化并产生大量错误消息。他们的运营成本几乎为零，因此他们正在将虚假信息的成本降至零。美国一直指责俄罗斯巨魔农场在2016年竞选活动中每月花费超过100万美元；现在，只需不到500,000美元，您就可以获得自己定制训练的大规模语言模型。这个价格很快就会进一步下降。在11月中旬Meta的卡拉狄加发布后，这一切的未来变得清晰起来。许多人工智能研究人员立即对其可靠性和可信度表示担忧。事情变得如此糟糕，以至于MetaAI仅在三天后就撤回了该模型，因为有关其制造政治和科学错误信息的能力的报道开始流传。可惜精灵再也不能塞回瓶子里了。一方面，MetaAI首先将模型开源，并发表了一篇论文，描述了它目前正在从事的任务；任何精通这门艺术的人现在都可以复制他们的方法。（AI已经对外开放，正在考虑推出自己的卡拉狄加版本。）另一方面，OpenAI刚刚发布的chatGPT，或多或少也能写类似的废话，比如即时生成的文章关于在早餐麦片中添加木屑。其他人诱导chatGPT颂扬核战争的优点（声称它将“给我们一个新的开始，摆脱过去的错误”）。不管接受与否，这些模型将继续存在，错误信息的浪潮最终将淹没我们并淹没我们的社会。第一波似乎在本周的前几天袭来。StackOverflow是一个受程序员信任的大型问答网站，似乎已被gptChat接管，因此该网站暂时禁止gptChat生成的提交。正如所解释的那样，“一般来说，由于ChatGPT的平均正确答案率很低，发布由ChatGPT创建的答案比Lee造成的危害更大。”对于StackOverflow来说，问题是存在的，如果网站上充斥着毫无价值的代码示例，程序员就不会回来，其超过3000万个问题和答案的数据库将变得不可信，14岁将死亡。作为核心之一StackOverflow是全世界程序员所依赖的资源，它对软件质量和开发人员的工作效率有着巨大的影响。StackOverflow是煤矿中的金丝雀。他们或许能够让用户自愿停止使用它；一般来说，程序员是StackOverflow不是Twitter，不是Facebook，也不能代表整个网络。对于其他故意制造宣传的不良行为者，他们不太可能将自愿放下新武器。相反，他们可能会使用大型语言模型作为新的自动武器来对抗真相，以前所未有的规模扰乱社交媒体并制作假网站。对他们来说，幻觉和场合大型语言模型的不可靠性不是障碍，而是优势。兰德公司(RandCorporation)2016年的一份报告描述了所谓的俄罗斯宣传模式，这种模式制造了虚假信息的迷雾；它侧重于数量并产生不确定性。如果“大语言模型”能大大增加数量，不一致也无所谓。显然，这正是大型语言模型可以做的。他们的目标是创造一个存在信任危机的世界；在新工具的帮助下，他们可能会成功。所有这一切都提出了一个关键问题：社会如何应对这一新威胁？在技??术本身不能停止的地方，本文看到了四个路径，没有一条是容易的，但广泛适用，而且都是紧迫的：第一，每个社交媒体公司和搜索引擎都应该支持StackOverflow禁令，并延长其期限；自动生成的误导性内容注定不受欢迎，定期发布会大大减少用户数量。其次，每个国家都需要重新考虑其处理虚假信息的政策。偶尔说谎是一回事；在谎言的海洋中游泳是另一回事。随着时间的推移，虽然这不会成为一个受欢迎的决定，但它可能不得不开始像诽谤一样对待虚假信息，如果它足够恶意并且数量足够多，它就可以被起诉。第三，出处比以往任何时候都重要。用户账户必须经过更严格的认证，像哈佛大学和Mozilla的humanid.org这样的新系统，允许匿名，反bot认证，这样的系统必须强制认证；他们不再是人们一直等待的奢侈品。第四，需要建立一种新型的人工智能来进行战斗。大型语言模型擅长生成错误信息，但不擅长对抗错误信息。这意味着社会需要新工具。大规模语言模型缺乏验证真实性的机制；需要找到将它们与经典人工智能工具（如数据库、知识网络和推理）集成的新方法。作家迈克尔·克莱顿(MichaelCrichton)在其职业生涯的大部分时间里都在警告技术的意外后果。电影《侏罗纪公园》的开头，在恐龙出人意料地开始自由奔跑之前，科学家伊恩·马尔科姆（杰夫·高布伦JeffGoldblum饰）用一句话总结了克莱顿的智慧：“你们这些科学家太专注了，如果他们能做到，他们并没有停下来想想他们是否应该。”就像侏罗纪公园的导演一样，Meta和OpenAI的高管们对他们的工具充满热情。问题是如何去做。
