，生成文本段落，模拟人类对话，解决数学问题。性能惊人的大规模语言模型显然是近年来人工智能发展最热门的领域之一。但是这种大型语言模型不仅能够自己生成有害内容，而且还可以通过构建在其之上的下游应用程序传播此类内容。理论上，更多人的参与应该有助于解决问题。但是，由于语言模型的训练需要大量的数据和计算能力，所以一直是大型科技公司的专属项目。在学术界以及担心人工智能被滥用的伦理学家和社会科学家等更广泛的群体中，只有旁观的选择。“我相信建立信任的唯一方法是非常透明，”MetaAI的常务董事JoellePineau说。当地时间5月3日，MetaAI发布了拥有1750亿参数的大型语言模型OPT-175B（OpenPretrainedTransformer，OPT）。对于一家大型科技公司来说，这是前所未有的举措。即使在大型语言模型的历史上，这也是第一次将预训练模型、训练代码、使用代码全部毫无保留地公开。“我们中的许多人都是大学研究人员，”Pinault说，“我们知道大学和行业在构建这些模型的能力方面存在明显差距。将研究人员聚集在一起讨论这项技术的好处是显而易见的。“她希望其他人仔细研究他们的工作，将其拆解进行分析，或在此基础上进行构建。她认为，当更多的人参与时，突破会更快发生。OPT语言模型中大约有1750亿个参数（这些parameters是神经网络训练过程中可以调整的参数），与OpenAI开创性的神经网络GPT-3基本相同大小，具有付费服务GPT-3的非凡能力和无法回避的缺陷。”这是设计使然，”Pinault说，并指出该团队构建OPT的目标是在语言任务的准确性和危害性方面匹配GPT-3。OPT是为研究人员提供类似的语言模型来进行研究。OpenAI拒绝置评根据Meta的说法，OpenAI的母公司谷歌正在探索在其搜索产品中使用大型语言模型，但也因缺乏透明度而受到批评。谷歌一直是su在这方面引起了很多争议，在人工智能伦理研究员TimnitGebru想发表一篇关于当时谷歌的语言系统如何从网站上学习偏见和仇恨言论的论文后解雇了他，最近解雇了另一名员工发表的研究。那么为什么Meta会这样做呢？毕竟，Meta也是一家科技公司，很少提及Facebook和Instagram背后的算法运作方式，并且以对其内部研究团队保密而不利于其发展的问题而著称。《麻省理工科技评论》认为Meta采取不同方法的一个重要原因是Pinault本人，多年来她一直在推动AI研发过程的透明度。按照在核心学术会议上发表研究的方式，皮诺要求研究人员必须提交结果，包括代码和有关他们如何进行实验的详细信息。自2017年加入其AI实验室以来，她一直在Meta（当时的Facebook）倡导这种文化。“Meta对开放科学的承诺是我来这里的原因，”Pinault说。“我不是来这里工作的。”除了代码，Meta还发布了开发日志。该日志包含团队成员对训练数据的每日更新：它是如何添加到模型中的，何时添加，以及哪些有效，哪些无效。在100多页的笔记中，研究人员记录了从2021年10月到2022年1月不间断运行的三个月训练运行期间的每一个错误、崩溃和重启。斯坦福大学基础模型研究中心主任PercyLiang大学，将大模型的开放性总结为四个层次：第一层次论文开放，证明一些想法的可行性，为构建提供思路；第二层API开放允许研究人员探索和评估现有模型的能力（如推理能力）和局限性（如偏差）；第三层模型权重开放和训练数据开放允许研究者逐步改进现有模型，开发更深层次的可解释性技术和更有效的Fine-tuning方法，让研究者更好地理解训练数据在模型行为中的作用；开放第四层计算能力，让研究人员可以尝试新的架构、训练目标和程序、数据融合，以及不同领域的开发全新模式。“更高程度的开放让研究人员能够专注于更深层次的问题，但同时也带来了更多的风险。”PercyLiang清楚地指出了这一点。此次Meta将其大规模语言模型开源到如此程度，是一个非常大胆的举动，可能会带来目前难以想象的风险。这也是OpenAI没有发布GPT-3的前身GPT-2的原因。“我不能告诉你这种模式不会造成其他可怕的风险。”皮诺驳斥了不应“仅仅因为它太危险”就发布该模型的想法。她说，“我理解这些模型的弱点，但这不是一种研究心态。”OPT主管MargaretMitchell认为，OPT的发布是一个积极的举措。但她认为透明度是有限度的。她问道：“语言模型是否经过了足够严格的测试？可预见的好处是否超过了可预见的危害？您如何避免在此过程中产生错误信息或种族主义和厌恶女性的语言？”华盛顿大学的计算语言学家EmilyM.Bender曾在谷歌中心与Mitchell合作过，她也担心如何应对潜在的危害。“降低任何机器学习技术风险的真正关键是在特定用例中对其进行评估和探索，例如这个系统的用途是什么？谁将使用它？系统输出将如何呈现给他们？”对于Pino来说，这些担忧应该通过更开放的讨论来解决，而不是更少的沟通。“世界各地的人对于什么样的对话是合适的有不同的想法，人工智能是对话的一部分，”皮诺说，并不期望语言模型会说出每个人都同意的话，“但我们如何处理它呢？“什么？那就是在讨论的时候多听听别人的声音。”
