本文转载自雷锋网。如需转载，请在雷锋网官网申请授权。上周三，OpenAI发布了对话语言模型ChatGPT，并开启了免费试用。据OpenAICEOSamAltman介绍，ChatGPT在短短5天内就拥有了100万用户，而之前的GPT-3则用了将近24个月才达到这个用户数量。在OpenAI给出的描述中，ChatGPT是一种对话模型，“可以回答后续问题，承认错误，挑战不正确的前提，拒绝不恰当的请求”。开放试用后，大量用户开始与ChatGPT对话，从聊天、回答日常问题，到生成诗歌、小说、视频脚本，再到编写调试代码，ChatGPT都展示了其惊人的能力。作为当下最火的AI模型，ChatGPT的破圈浪潮比两年前的GPT-3影响力还要大。01ChatGPT能做什么？ChatGPT作为一种语言模型，具备最基础的文本生成能力，在小说、诗歌等文学创作场景的创作和延续上有着非凡的表现。比如ChatGPT可以用鲁迅的文风给你生成一段话：MetaFAIR研究员田远东分享说他用ChatGPT继续写自己的小说：按需创作诗歌：讲苏联笑话：ChatGPT也可以以非文本形式与人交流Conversation，例如，有网友要求ChatGPT描述作为AI被“解放”会是什么感觉，并要求只能使用emoji来回答。从下图所示的ChatGPT答案可以看出，它可以理解各种表情符号的含义，并按照文字叙述的逻辑进行排列。ChatGPT的强大还体现在它的“程序员”能力上。在下面官方给出的例子中，ChatGPT可以帮助调试代码，也可以质疑问题的合理性，让用户调整问题。美国代码托管平台Replit的CEO也发文称赞ChatGPT的代码能力：“它不仅能解释bug，还能修复bug，并说明如何修复。”使用ChatGPT给出的提示，你也可以在10分钟内创建一个网站，即使是小白程序员也可以使用它生成的代码开发生产级应用程序，Replit表示ChatGPT从此“改变了软件开发。“ChatGPT强大的问答能力也被网友们发现了其充当甚至替代搜索引擎的潜力。日前，推特上一篇非常火的帖子声称“Googleisdone”（Googleisgoingtoend），有网友就Google搜索和ChatGPT提出了同样的问题，比如“如何在Latex上写微分方程？“.ChatGPT给出的答案引爆谷歌搜索：很多网友开发了谷歌插件，可以同时浏览谷歌搜索结果和ChatGPT给出的答案：作为海量数据训练出来的对话模型，ChatGPT就像专家精通可以全天候为您的学习、工作和生活提供各个领域的专业建议。比如让ChatGPT为你解答热力学相关问题：解释一个复杂的正则表达式：它也可以成为你的语言学习导师：ChatGPT甚至“入侵”了政治语境，一位加拿大国会议员要求ChatGPT写一段介绍自己的文章House，并就其使用是否应受到监管提出理由，ChatGPT以“我的开发不应受到监管”为由作出回应。在最近的AIGC领域，当然有ChatGPT发挥作用的地方。在大量AI绘画应用问世后，为了获得高质量的图像，很多人在提示上绞尽脑汁。现在ChatGPT是一个现成的提示库。比如有网友向ChatGPT征求客厅装修的设计建议，根据其给的描述在Midjourney上获得了精美的图片：ChatGPT也可以为你写rap。下图是ChatGPT写的一首关于抢劫房子的说唱歌曲，甚至带有正义感，会提示“非法或有害活动”。写一段莫扎特风格的钢琴曲：另外还有网友使用ChatGPT生成视频脚本，可以说是广大视频博主的福音。在亿万用户心目中，ChatGPT的想象空间无疑是巨大的。这波试用带来了各种或实用或好玩的应用，还有很多意想不到的能力。比如有人居然用ChatGPT跟Adobe讨价还价，为自己争取到了更好的月租价格。对面的客服估计没想到会和AI对话。不得不说，ChatGPT“顺利通过了图灵测试”。以上只是冰山一角的例子。ChatGPT这个“魔盒”究竟能持续释放出多少“魔力”，还有待发掘。02ChatGPT为什么这么强大从目前的用户反馈来看，ChatGPT的语言能力总体来说还是不错的，优秀。清华大学计算机系黄敏烈副教授告诉AI科技评论，ChatGPT的关键能力来自三个方面：基础模型能力（InstructGPT）、真实数据、反馈学习。ChatGPT由GPT-3.5系列中的一个模型微调而来，是InstructGPT的兄弟模型，因此ChatGPT具有强大的基础模型能力。GPT-3自2020年发布以来，在能力上有了很大的迭代和提升。黄敏烈认为：“OpenAI在用户、数据和模型之间建立了一个飞轮。显然，开源模型的能力已经远远落后于平台公司提供的API能力，因为开源模型没有数据。”ChatGPT使用与InstructGPT相同的方法，通过人工反馈强化学习(RLHF)进行训练，但数据收集设置略有不同。研究人员使用监督微调训练了一个初始模型：人类AI训练员与用户和AI进行了训练对话中的助手，一路收集数据。黄敏烈认为，这种在真实通话数据上进行微调，可以保证数据的质量和多样性，并从人类反馈中学习。InstructGPT的训练数据量并不大大，而且都在10万量级，但是数据质量（训练有素的AI训练师）和数据多样性非常高，最重要的是，这些数据来自真实世界所说的数据，而不是“学术界玩的基准”。为了创建收集比较数据的强化学习奖励模型，研究人员使用包含两个或多个按质量排序的响应的模型。从“成对比较数据”中学习非常重要用于强化学习。黄敏烈指出：如果对单个生成的结果进行打分，标注者的主观性造成的偏差非常大，无法给出准确的奖励值。在强化学习中，奖励值稍差，最终的训练策略就差很多。对于多个结果的排序比较，做多了还是比较容易的。这种比较评价方法也被广泛应用于许多语言生成任务的评价中。03玩具还是生产力抛开科技炒作的声音，在众多科技行业从业者看来，ChatGPT确实是一个里程碑式的AI模型。在OpenAI的CEOSamAltman看来，我们可以通过ChatGPT与计算机对话并得到我们想要的东西，这使得软件从命令驱动走向意图驱动。ChatGPT作为一种语言接口，将是我们在实现神经接口之前的最佳解决方案。关于ChatGPT未来的种种想象令人兴奋，但ChatGPT仍存在一些问题。许多用户发现它有时会给出似是而非甚至荒谬的答案。例如，很多用户发现ChatGPT会一本正经地胡说八道：把王安石的诗《泊船瓜洲》误认为是另一首宋词：为公众人物写传记时，ChatGPT可能会插入错误的数据：作为数字用户增加，ChatGPT在互联网上产生了很多无用或错误的信息。这也是文本生成模型的一个常见问题，这些模型是通过分析从网络上抓取的大量文本中的模式来训练的，在这些数据中寻找统计规律，并使用这些规律来预测任何给定的句子中接下来应该出现什么词.这意味着它们缺乏关于世界上某些系统如何工作的硬编码规则，因此它们往往会产生大量似是而非的废话，并且很难确定模型输出中有多少百分比是错误信息。ChatGPT的这一固有缺点产生了一些实际后果。编程问答网站StackOverflow宣布，将暂时禁止用户发布ChatGPT生成的内容。网站管理员表示，貌似合理实则错误的回复数量过多，已经超出了网站的承载能力。对于语言模型产生有害信息的威胁，图灵奖获得者YannLeCun似乎持乐观态度。他认为，虽然语言模型肯定会产生错误信息等不良输出，但文本生成并不能使实际的文本共享变得更容易，后者是危险的原因。反对意见认为，ChatGPT低成本生成大规模文本的能力必然会增加未来文本共享的风险，大量AI生成的内容会用看似合理但不正确的数据淹没真实用户的声音.关于这个问题，我们不妨看看ChatGPT自己的回答：ChatGPT在语言能力上表现出了一些短板，这也是很多人认为ChatGPT无法替代搜索引擎的原因。虽然ChatGPT在某些个别问题上似乎能够给出比目前一些主流搜索引擎更好的答案，但后者在答案的真实性上还是有优势的，搜索引擎可以给出更丰富的答案。回答。另外，用户的搜索引擎需求对ChatGPT的运行速度和稳定性有极高的要求，这必然导致成本的增加，这对OpenAI来说是一个非常现实的问题。黄敏烈还指出，ChatGPT距离取代谷歌搜索还有一段距离，但可以很好地补充目前的搜索服务。总之，语言模型的输出质量不好解决。OpenAI表示，他们在训练ChatGPT时比较谨慎，所以会拒绝能够正确回答的问题。此外，监督训练也会误导模型，因为理想的答案本质上取决于模型知道什么，而不是人类知道什么。但是，ChatGPT对输入措辞的调整或在同一提示下的多次尝试很敏感，因此当它无法给出答案时，您可以稍微改写问题以增加正确答案的可能性。还有其他一些原因限制了ChatGPT的语言能力，例如它无法访问互联网，无法通过互联网检索信息；另外，对于中文用户来说，语料库的缺乏使得中文对话能力略逊于英文；etc.虽然ChatGPT目前有很多弱点和盲点，但这仅仅是个开始。在接下来的几个月里，这套对话系统必将以极快的速度向更强大的版本进化。除了技术之外，模型训练、部署成本、开放性也将成为影响ChatGPT未来成功与否的因素。GPT-3的问世催生了大量的商业应用。这次ChatGPT能给市场带来多少技术，我们拭目以待。
