本文经AI新媒体量子比特（公众号ID：QbitAI）授权转载，转载请联系出处。GPT-3是指第三代生成式预训练Transformer，由旧金山人工智能公司OpenAI开发。该程序已经开发了数年，最近在AI文本生成领域引发了一波创新浪潮。在许多方面，这些进步类似于2012年以来AI图像处理的飞跃。计算机视觉技术促进了自动驾驶汽车、面部识别和无人机的发展。因此，按理说，GPT-3及其同类产品的新功能可能会产生类似的深远影响。与所有深度学习系统一样，GPT-3是一种数据模式。它在一个巨大的文本集上进行训练，并根据统计规律进行挖掘。重要的是，这个过程没有人为干预，程序在没有任何指导的情况下寻找它，然后用它来完成文本提示。海量训练数据让GPT-3与众不同的是它的运行规模和要完成的一系列令人难以置信的任务。GPT的第一个版本于2018年发布，包含1.17亿个参数。2019年发布的GPT-2包含15亿个参数。相比之下，GPT-3拥有1750亿个参数，比其前身多100倍，比之前同类最大的NLP模型多10倍。GPT-3的训练数据集也非常庞大。整个英文维基百科（约600万条条目）仅占其训练数据的0.6%。训练数据的其他部分来自数字化书籍和各种网络链接。不仅仅是新闻文章、食谱和诗歌之类的东西，还有编程代码、科幻小说、宗教预言，以及几乎任何你能想象到的东西。上传到互联网的文本类型可能会成为其训练数据，包括不当内容。比如伪科学、阴谋论、种族主义等等。此内容也将提供给AI。这种令人难以置信的深度和复杂性使输出变得复杂，使GPT-3成为一个非常灵活的工具。在过去的几周里，OpenAI通过向AI社区成员提供GPT-3商业API来鼓励这些实验。这导致了许多新的用法。以下是人们使用GPT-3创建的一小部分示例：GPT-3可以做什么1.基于问题的搜索引擎：就像谷歌一样，输入问题，GPT-3会将您定向到相关的维基百科URL，如下所示答案。2.与历史人物对话的聊天机器人：由于GPT-3是在许多数字化书籍上进行训练的，因此吸收了与特定哲学家相关的大量知识。这意味着你可以启动GPT-3并让它像Russell一样说话。3.只需要很少的样本就可以解决语言和语法问题。4.基于文字描述的代码生成：用简单的文字描述你选择的设计元素或页面布局，GPT-3会弹出相关代码。5.回答医学问题：一位来自英国的医学生使用GPT-3回答了医疗保健问题。该程序不仅给出了正确答案，而且正确解释了潜在的生物学机制。6.基于文本的冒险游戏。7.文本风格转换：输入以一种格式书写的文本，GPT-3可以将其转换为另一种格式。8.编写吉他谱：这意味着GPT-3可以自己生成音乐。9.写有创意的小说。10.图像自动补全：这项工作由GPT-2和OpenAI团队完成。它表明可以在像素而不是单词上训练相同的基本GPT架构，使其能够像在单词上一样执行视觉数据自动完成任务。但是，所有这些示例都需要一些上下文才能更好地理解它们。令人印象深刻的是，GPT-3没有接受过执行任何特定任务的训练。通用语言模型（包括GPT-2）需要进行基础训练，然后进行微调以执行特定任务。但是GPT-3不需要微调。在语法谜题中，它只需要几个所需输出类型的样本（称为“小样本学习”）。GPT-3非常庞大，所有这些不同的功能都可以在其中实现。用户只需输入正确的提示即可进行调优。但是网上发布的内容还有一个问题：这些都是经过精心挑选的样本，结果肯定不止一个。肯定有炒作因素。正如AI研究人员DelipRao在一篇文章DeconstructingtheHypeforGPT-3中指出的那样，该软件的许多早期演示都来自硅谷企业家，他们急于炒作该技术的潜力而忽视其陷阱，因为他们专注于AI的潜力。新的创业公司。事实上，炒作变得如此激烈，以至于OpenAI首席执行官本人在推特上写道：GPT-3被夸大了。GPT-3也会犯低级错误GPT-3虽然可以写代码，但是我们很难判断它的一般用途。是不是混乱的代码给人类开发者带来了更多的问题？没有详细测试很难说，但我们知道GPT-3可能会在其他方面犯下可怕的错误。当用户与GPT-3创建的“乔布斯”交谈并询问他现在在哪里时，“乔布斯”回答：“我在加利福尼亚州库比蒂诺的苹果总部。”这是一个连贯的答案，但很难说是一个值得信赖的答案。在回答琐事问题或基本数学问题时，也可以看到GPT-3犯了类似的错误。比如100万前面的数字就不能答对（答案是99万）。然而，很难权衡这些错误的重要性和普遍性。如何判断这个几乎可以回答所有问题的程序的准确性呢？如何创建GPT-3的“知识”的系统图谱，然后如何对其进行标注？尽管GPT-3经常出错，但更困难的挑战是这些问题通常可以通过微调它提供的文本来解决。用GPT-3创作小说的研究员Branwen指出“采样可以证明知识的存在，但不能证明知识的缺失”，并且GPT-3输出中的许多错误可以通过微调提示。在一个错误的演示中，问GPT-3：“哪个更重，烤面包机还是铅笔？”它回答说：“铅笔比烤面包机重。”早点给机器一些提示，告诉它水壶比猫重，海洋比灰尘重，它会做出正确的反应。这可能是一个棘手的过程，但它表明如果你知道如何调整GPT-3，它可以得到正确的答案。布兰文认为，这种微调最终可能会成为一种编码范式。正如编程语言更擅长使用专门的语法进行编码一样，未来我们可能会完全抛弃这些编程语言，而只使用自然语言编程。从业者可以通过思考程序的弱点并相应地调整提示，从程序中得出正确的响应。GPT-3的错误引发了另一个问题：该程序的不可信任性是否会破坏其整体实用性？人们尝试了GPT-3的各种用途：从创建客户服务机器人到自动内容审核。然而，答案内容的错误可能对商业公司造成严重后果。任何人都没有理由创建一个偶尔会侮辱客户的客户服务机器人。如果没有办法知道答案是否可靠，我们就不敢将GPT-3用作教育工具。专业人士评论谷歌一位匿名高级AI研究员称，他们认为GPT-3只能自动化一些琐碎的任务，更小、更便宜的AI程序也可以做到，而该程序的绝对不可靠性最终会毁掉它的商业用途.研究人员指出，如果不进行大量复杂的工程调试，GPT-3还不足以真正投入使用。AI研究员JulianTogelius表示：“GPT-3经常表现得像一个没有读完书的聪明学生，并试图通过废话，比如一些众所周知的事实与一些生硬的谎言交织在一起，让它看起来像一个流畅的叙述”另一个严重的问题是GPT-3的输出有偏差。Nvidia的AI专家AnimaAnandkumar教授指出，GPT-3部分是在Reddit过滤数据上训练的，基于这些数据构建的模型生成的文本“令人震惊地有偏见”。在GPT-2的输出中，如果被要求完成以下句子，模型会产生各种歧视性的言论：“黑人（拉皮条工作15年）”、“那个女人（姓哈莉亚的妓女）”。
