ChatGPT的诞生可能是2022年下半年最引人注目的AI突破，尽管它可能不是技术最先进的。前不久，在新奥尔良举办的2022NeurIPS上，关于GPT-4的传闻层出不穷。与此同时，OpenAI也成为新闻媒体关注的焦点。OpenAI公布了GPT-3系列AI大规模语言模型中的一个新模型：text-davinci-003，属于其“GPT-3.5系列”的一部分，可以处理更复杂的指令，生成更高质量、更长的Form提高性能的内容。新模型建立在InstructGPT的基础上，使用强化学习和人类反馈来更好地使语言模型与人类指令保持一致。DaVinci-003是一个真正的人类反馈强化学习(RLHF)模型，它使用对人类演示和高分模型样本的监督微调来提高生成质量。》作为“GPT-3.5系列”的另一部分，OpenAI发布了ChatGPT的早期演示。该公司声称这种交互式对话模型不仅可以回答大量后续问题，还可以承认错误并回答不正确的问题.场地受到挑战，不恰当的质疑请求被拒绝OpenAI在一篇博文中表示，ChatGPT的研究发布是“OpenAI迭代部署越来越安全和有用的AI系统的最新一步。反馈强化学习（RLHF），有害和不真实的输出结果大大减少。另外，ChatGPT在训练中强调它是机器学习模型，这可能是因为不久前避开了谷歌的聊天机器人LaMDA。关于人工智能是否有意识的争论。当然，ChatGPT也有局限性。在一篇博客文章中，OpenAI详细说明了它的局限性，包括有时听起来似是而非的答案实际上是不正确或荒谬的。“解决这个问题具有挑战性，因为（1）在强化学习训练期间，目前无法保证可靠的来源；(2)训练好的模型比较谨慎，会拒绝很可能答对的问题；(3)监督训练可能会误导模型，因为理想的答案取决于模型知道什么，而不是人类演示者知道什么。”OpenAI表示，ChatGPT“偶尔会响应有害指令或表现出有偏见的行为。我们正在使用API来警告或阻止某些类型的不安全内容，但目前预计会出现一些漏报和漏报。我们很乐意收集用户反馈，以帮助我们正在进行的改进该模型的工作。”虽然ChatGPT可能还有很多问题亟待改进，但我们不能否认在GPT-4登场之前，ChatGPT仍然是大型语言模型的顶流。不过在最近的社区中，另一种新的模式却点燃了大家的讨论热情。最重要的是，它是开源的。本周，负责逆向工程闭源AI系统（包括Meta的Make-A-Video）的开发人员PhilipWang发布了PaLM+RLHF，这是一种行为类似于ChatGPT的文本生成模型。代码地址：https://github.com/lucidrains/PaLM-rlhf-pytorch本系统结合了谷歌的大规模语言模型PaLM和强化学习与人类反馈（RLHF）技术，创建了一个几乎可以完成ChatGPT任何任务的系统，包括起草电子邮件和建议计算机代码。PaLm+RLHF的力量自发布以来，ChatGPT因其生成高清类人文本并以对话方式回答用户问题的能力而风靡科技界。虽然这是聊天机器人发展初期的一大进步，但人工智能领域的许多爱好者都对ChatGPT的封闭性表示了担忧。时至今日，ChatGPT模型仍然是专有的，这意味着公众无法查看其底层代码。只有OpenAI真正知道它是如何工作的以及它处理的数据。这种缺乏透明度会产生深远的影响，从长远来看可能会影响用户的信任。许多开发人员一直渴望构建一个开源替代方案，而现在，它终于出现了。PaLM+RLHF是专门为Python语言构建的，可以为PyTorch实现。开发人员可以像训练自回归变压器一样轻松地训练PaLM，然后使用人类反馈来训练奖励模型。和ChatGPT一样，PaLM+RLHF本质上是一个预测单词的统计工具。当从训练数据中输入大量示例（例如来自Reddit的帖子、新闻文章和电子书）时，PaLM+RLHF会根据周围文本的语义上下文等模式了解单词出现的可能性。真的那么完美吗？当然，理想和现实还是有很大差距的。PaLM+RLHF看似完美，但也存在各种问题。最大的问题之一是人们还不能使用它。要启动PaLM+RLHF，用户需要编译从博客、社交媒体、新闻文章、电子书等各种来源获取的千兆字节文本。这些数据被馈送到微调的PaLm模型，该模型将生成多个响应。例如，如果模型被问及“经济学的基础知识是什么”，PaLm将给出诸如“经济学是研究……的社会科学”之类的回答。然后，开发人员要求人类将模型生成的响应从最佳到最差进行排名，并创建奖励模型。最后，排名用于训练“奖励模型”，该模型采用原始模型的响应并按偏好顺序对它们进行排序，过滤出给定提示的最佳答案。然而，这是一个昂贵的过程。收集训练数据和训练模型本身并不便宜。PaLM有5400亿个参数，这是语言模型从训练数据中学习的部分。2020年的一项研究表明，开发一个只有15亿个参数的文本生成模型的成本可能高达160万美元。今年7月，为了训练拥有1760亿参数的开源模型Bloom，HuggingFace的研究人员用了三个月的时间，使用了384块NvidiaA100GPU。每台A100的价格都在数千美元，这不是任何普通用户都能负担得起的费用。此外，即使在训练模型之后，运行PaLM+RLHF大小的模型也并非易事。Bloom拥有一台配备八个A100GPU的专用PC，而OpenAI的文本生成GPT-3（具有约1750亿个参数）每年的运行成本约为87,000美元。AI研究员SebastianRaschka在一篇关于PaLM+RLHF的论文中指出，扩大必要的开发工作流程也可能是一个挑战。“即使有人给你500个GPU来训练这个模型，你仍然需要处理基础设施并拥有一个可以处理它的软件框架，”他说。“虽然这是可行的，但目前来看，还需要付出很大的努力。”下一个开源ChatGPT的高昂成本和巨大规模表明，如果没有资金雄厚的企业或个人不厌其烦地训练模型，PaLM+RLHF目前还没有能力取代ChatGPT。到目前为止，还没有PaLM+RLHF的确切发布日期。作为参考，拥抱脸花了三个月的时间来训练布卢姆。相比之下，5400亿参数的PaLM+RLHF可能要等6-8个月才能出有意义的版本。好消息是，到目前为止，我们有三个已知的玩家在研究这个开源的ChatGPT替代方案：CarperAILAIONYYannicKilcherCarperAI计划发布第一个准备运行的、类似于ChatGPT的AI模型，该模型通过人类反馈进行训练。代码地址：https://github.com/CarperAI/trlxLAION，为StableDiffusion提供初始数据集的非营利组织，也开创了一个项目，利用最新的机器学习技术复制ChatGPT。代码地址：https://github.com/LAION-AI/Open-AssistantLAION旨在打造一个“未来助手”，不仅能写邮件和求职信，还能“做有意义的工作，使用API??，进行动态研究”信息等”。现在还处于早期阶段，但是几周前一个带有相关资源的项目在GitHub上线了。而由YouTube红人、AI研究者YannicKilcher打造的GPT-4chan，更像是一个“出淤泥而不染”的口臭专家。此模型中的“4chan”是AOL匿名论坛。由于网友的身份都是匿名的，很多人胆大包天，发表各种政治不正确的言论。而Kilcher官方在4chan上发帖训练模型，结果可想而知。与论坛的普遍基调类似，GPT-4chan的回答充满了种族主义、性别歧视和反犹太主义。不仅如此，Kilcher还将自己的底层模型发布到HuggingFace上，供其他人下载。但在众多AI研究者的声讨下，官方很快限制了网友对该模型的访问。在我们期待更多开源语言模型出现的同时，我们现在能做的也只有等待。当然，继续免费使用ChatGPT也是一个好主意。值得注意的是，在任何开源版本开始运行之前，OpenAI在开发方面仍然遥遥领先。2023年，GPT-4无疑是全世界AI爱好者翘首以盼的对象。无数AI巨头都做出了自己的预测，或好或坏，但正如OpenAI首席运营官SamAltman所说：“通用人工智能的构建速度将比大多数人想象的更快，而且它将改变大多数人想象的一切。”
