人工智能研究实验室OpenAI于2022年11月30日发布了自然语言生成模型ChatGPT，上线两个月内用户量突破1亿，成为人工智能模型。当之无愧的智能界超级网红。ChatGPT凭借强大的拟人化和及时的响应能力迅速破圈，引起了各行业的热议。简单来说，ChatGPT是一款人工智能聊天机器人，可以根据用户的文字输入自动生成答案。那么肯定有人会说，这就是Siri。虽然同为交互机器人，但两者的区别是巨大的。那么为什么ChatGPT在人机交互方面表现如此出色呢？它会取代搜索引擎吗？90%的人真的会因为ChatGPT的出现而面临失业的危险吗？带着这些问题，让我们一起来看看ChatGPT是如何脱颖而出的，未来又会给行业带来哪些改变。ChatGPT到底是什么？谁想出了ChatGPT？OpenAI的创始人SamAltman是8岁就会编程的天才，2015年，他与特斯拉老板马斯克、天使投资人PeterThiel等硅谷大佬共同创立了OpenAI，一个主要由以下人员组成的人工智能研究实验室盈利组织OpenAILP和母公司非盈利组织OpenAIInc联合成立，旨在促进和发展友好的人工智能，防止人工智能脱离人类的控制。OpenAI专注于人工智能前沿技术的研发，包括机器学习算法、强化学习、自然语言处理等。OpenAI于2022年11月30日发布ChatGPT，正式提供实时在线问答对话服务。什么是聊天GPT？书中有一段话《知识的边界》：当知识网络化后，屋子里最聪明的人不再是站在教室前面给我们上课的那个人，也不是屋子里所有人的集体智慧。.房间里最聪明的人是房间本身：网络容纳了所有的人和想法，并将他们与外界联系起来。我对这句话的理解是，互联网拥有全人类的知识和经验，为人工智能提供了大量的学习数据。“王者”人工智能应用提供了丰富的数据土壤。而ChatGPT是由互联网的海量文本数据和语言数据库数据喂养和训练的，它可以根据你输入的文本内容生成相应的答案，就像两个人在聊天一样。除了可以和你无障碍交流之外，它甚至让你觉得和你交谈的不是聊天机器人，而是知识渊博、风趣幽默的真人，而回答甚至带有一定的人情味，这在它在过去的聊天机器人中是不可想象的。这里稍微解释一下ChatGPT的字面意思。它是一种通用的自然语言生成模型。聊天意味着对话。所谓GPT是GenerativePre-trainedTransformer，意思是生成式预训练转换模型。是不是有点不清楚？感觉敏锐。另外，你也可以请他帮你做一些实际的工作，比如写文案，写脚本，甚至直接帮你写代码，找代码中的bug。砸砸节奏，在文字和代码层面可以说是无所不能。这种输入问题并立即给出答案的交互式方式，远胜于使用传统搜索引擎在海量数据中查找所需内容的体验。因此，可以预见，在不久的将来，ChatGPT将颠覆传统的搜索引擎，彻底改变信息检索的方式。如何使用它。此外，ChatGPT还可以结合上下文回答问题，同时能够主动承认自己的不足，挑战问题的合理性。以下是ChatGPT对我提出的问题的否定。PS：我问过大家ChatGPT是怎么成为世界首富的，秘诀在下面。正是因为ChartGPT拥有如此强大的理解、学习和创造能力，才成为AI人工智能诞生以来C端用户增长最快的智能应用产品。过去，人工智能C端产品总是被认为不够智能，甚至被嘲笑为“人工智障”。即使在B端，也只是在特定场景下使用。普通人根本感受不到AI人工智能的强大，但ChatGPT的出现，或许预示着未来人工智能将融入普通人的生活。PS：我真的很怕他会回答是。为什么ChatGPT如此强大？ChatGPT虽然一夜爆红，但其背后的技术发展并非一蹴而就。所以要想搞清楚ChatGPT为什么这么强大，就得搞清楚它背后的技术原理是什么。语言模型迭代众所周知，自然语言是人类最重要的交流工具，因此如何让机器与人类通过自然语言进行无障碍交流一直是人工智能领域孜孜不倦追求的目标。NLP（NaturalLanguageProcessing，自然语言处理）是计算机科学和人工智能领域的一个重要研究方向，专门研究使机器能够理解自然语言并在此基础上作出反应。那么，为了让计算机能够识别自然语言，就需要相应的语言模型对文本进行分析和处理。语言模型的一般原理是对语言文本进行概率建模，利用模型预测下一个输出内容的概率。一般过程如下。语言模型输出段落后出现概率最高的句子。语言模型可以分为统计语言模型和神经网络语言模型。而ChatGPT属于神经网络语言模型。经过多个版本的迭代优化，才有了今天震撼所有人的优秀表现。我们可以简单梳理一下LM（LanguageModel，语言模型）的发展历程，看看语言模型是如何一步步演进的，这对我们理解ChatGPT背后的技术原理很有帮助。RNNRNN（RecurrentNeuralNetwork，循环神经网络）在不良贷款领域有着广泛的应用。我们上面说的NLP就是解决让机器理解自然语言的问题。因此，如果想让机器理解一个句子的意思，不仅要理解这个句子中每个词的意思，还应该处理这个句子的连接序列表达的意思是什么，而RNN解决的问题是将样本数据建模为序列。然而，RNN存在效率问题。在处理语言序列时，是通过序列化的方式来完成的。也就是说，下一个词的处理需要等到前一个词的状态输出。此外，还有梯度爆炸和遗忘等问题。因此，人工智能专家在此基础上不断优化模型。TransformerGoogleBrain在2017年的《Attention Is All You Need》论文中提出了Transformer模型，这是一种基于self-attention机制的深度学习模型，主要针对RNN问题进行了优化。尤其是对于文本序列的序列化问题，Transformer模型可以同时处理文本序列中的所有单词，并且序列中任意单词的距离为1，避免了由于序列太长导致的距离过大RNN模型问题。Transformer模型的提出可以说是NLP领域跨越式发展的重要标志，因为后来著名的BERT模型和GPT模型都是在Transformer模型的基础上演化而来的。下图展示了Transformer模型结构。GPT和GPT-2，不管是原来的GPT模型还是最新的ChatGPT模型，其实都是以Transformer模型为核心结构的语言模型。GPT使用了Transformer模型的Decoder组件，基于以上比较适合回答以下场景。为了提高训练的准确性，很多机器学习训练任务都是使用标注数据集完成的，但实际上标注数据是一项繁重的工作量，会消耗大量的人力和时间。因此，随着计算能力的不断提升，我们实际上需要在更多未标记的数据上进行训练。因此，GPT提出了一种新的自然语言训练范式，即通过海量文本数据进行无监督学习，实现模型训练。这也是为什么GPT采用Pre-training+Fine-tuning的训练模式。GPT的模型结构如下，其训练目标是在上面的基础上预测下面的内容。GPT-2其实在模型结构上没有大的变化，只是简单的调整，主要是GPT-2使用了更多的模型参数和更多的训练数据。它的目标是训练一个具有更强泛化能力的语言模型。所谓泛化，就是处理以前没有遇到过的问题的能力。GPT-32020年，OpenAI在论文《Language Models are Few-Shot Learners》中提出了GPT-3模型，该模型使用了非常大量的模型参数和训练数据。主要提出LLM的上下文学习能力。GPT-3探索了模型在三种不同输入形式下的效果：Zero-shot、One-shot和Few-shot。它主要考虑如何通过已有的问题来预测可能的答案。这里稍微解释一下Zero-shot,One-shot,Few-shot。Zero-shot只给出提示，One-shot给出一个例子，Few-shot给出多个例子。但是没有考虑答案的内容是否符合人的预期，这也是InstructGTP后期的主要优化方向。从下表可以看出，GPT训练的参数量级和数据量级都呈爆炸式增长。当模型迭代到GPT-3时，参数数量已经超过1000亿，预训练数据量达到了45TB，可以说是货真价实。超级LLM模型上线了。庞大的模型参数和预训练数据量也带来了训练成本的上升。GPT-3的训练成本高达1200美元。ChatGPT的关键能力OpenAI目前还没有在ChatGPT上发表相应的论文，但其实其核心思想与OpenAI在2022年发表的论文《Training language models to follow instructions with human feedback》基本相同。InstructGPT最重要的优化是引入了RLHF（ReinforcementLearningfromHumanFeedback，基于人类反馈的强化学习）技术。Fine-tuneoriginalmodel通过让模型学习人类对话的过程，让人类对排序模型答案的结果进行标注和评价，使得收敛后的模型在回答问题时更符合人类的意图。此外，本文提出的InstructGPT训练方法与ChatGPT基本相同，只是在获取数据的方式上略有不同，因此InstructGPT与ChatGPT可以说是一对兄弟模型。我们来看看ChatGPT是如何训练的，ChatGPT是如何解决让模型回答更符合人的意图或偏好的问题。上面的训练过程可能看起来有点复杂，但是简化如下图，应该可以让同学们更容易理解ChatGPT模型是如何训练的。按照官网给出的步骤，其核心训练思路是收集反馈数据——“训练奖励模型——”PPO强化学习。ChatGPT训练过程主要分为三个阶段：Stage1:Fine-tuningtheinitialmodelofGPT-3.5throughsupervisedlearning事实上，对于LLM（LargeLanguageModel，大语言模型）来说，并不是说样本越多用于训练的数据，越好。你为什么这么说？因为像ChatGPT这样的大型语言预训练模型是用超大参数和海量数据训练的，这些海量样本数据对于人工智能专家来说实际上是透明的、不可控的。因此，如果样本数据中包含种族歧视、暴力等不良数据，则预训练模型可能包含这些不良内容属性。但对于人工智能专家来说，需要保证人工智能是客观公正的，没有任何偏见，ChatGPT也是面向这方面进行训练的。因此，ChatGPT通过监督学习来进行模型训练。所谓监督学习，就是在有“答案”的数据集上学习。为此，OpenAI聘请了40名承包商进行数据标注工作。首先，让这些标注器模拟人机交互，进行多轮语言交互。对GPT-3.5模型进行微调以获得SFT（监督微调）模型。Phase2:BuildaRewardModel在随机抽取一批提示数据后，使用第一阶段微调的模型自动回复不同的问题，然后让markers对答案从好到坏进行排序，排序后的结果data是用来训练RewardModel的。在此过程中，将排序结果两两组合，形成排序训练数据对。奖励模型接受数据对输入以给出答案质量的分数。这种奖励模型本质上是对人类真实意图的抽象。因为这个关键的步骤，RewardModel可以不断地引导模型朝着符合人类意图的方向产生相应的答案结果。Phase3：PPO（ProximalPolicyOptimization，近端策略优化）强化学习微调模型PPO是一种信任域优化算法，它使用梯度约束来确保更新步骤不会破坏学习过程。本阶段继续抽取一批提示数据后，利用阶段2构建的RewardModel对微调训练模型的答案进行评分，更新预训练参数。RewardModel用于奖励高分答案，由此产生的策略梯度可以更新PPO模型参数。循环不断迭代，直到模型最终收敛。可以看出，ChatGPT的训练过程其实就是监督学习结合RLHF技术应用的过程。ChatGPT实际上是依靠RLHF技术来生成更符合人类预期的答案。通过以上模型训练过程，我们得出结论，ChatGPT之所以具有强大的上下文理解能力，主要得益于三个关键能力，即强大的基础模型、高质量的样本数据和基于人类反馈的强化学习。核心是RLHF技术，通过训练找到最能解释人类判断的奖励函数，然后不断训练强化认知。ChatGPT取代搜索引擎带来了哪些变化？目前的搜索引擎只能根据我们搜索的关键词在搜索引擎数据库中匹配并索引相应的网页。像百度这样的搜索引擎仍然动不动就给你广告。用户仍然需要在返回的信息中找到他们最想要的东西。但ChatGPT不同，答案就是问题，为用户节省大量过滤无效搜索结果的时间和精力。ChatGPT可以非常准确地掌握对用户实际意图的理解，而传统的搜索引擎仍然是关键词匹配搜索方式，实际上并不能理解用户输入的搜索语句的真正含义，而ChatGPT却可以理解用户的真实意图。此外，他还会创造性地回答，帮助用户摆脱繁琐的工作。PS：微软的Bing搜索引擎开始接入ChatGPT。取代人工客服现在所谓的智能客服只是预设一些常见问题自动回答，远没有达到所谓的智能化水平，但一定程度上可以降低企业在客服人员方面的投入成本.但有了ChatGPT，因为它可以了解用户的真实意图，而不是机械地回答预设的问题，所以可以帮助用户解决实际的客服问题，最大限度地降低客服人工成本。代替内容创作ChatGPT不仅可以回答问题，还可以创作内容，比如写歌，写诗，写活动策划等等。因此，很多从事文字内容创作的同学都感到了深深的危机.他们一直认为机器人应该率先取代体力劳动者，可谁能想到ChatGPT的出现直接淘汰了很多脑力劳动者的工作。.ChatGPT局限训练数据偏差ChatGPT的训练数据是基于互联网世界的海量文本数据。如果文本数据本身不准确或者包含某种偏差，现在的ChatGPT无法区分，那么在回答问题的时候就会出错。这种不准确和偏见不可避免地会被传播。适用场景有限。目前ChatGPT主要可以处理自然语言问答和任务。在图像识别、语音识别等其他领域，它还没有相应的处理能力，但我相信不久的将来可能会有VoiceGPT和ViewGPT。大家拭目以待。训练成本高ChatGPT是NPL领域非常庞大的深度学习模型。它的训练参数和训练数据都非常庞大。因此，如果要训练ChatGPT，需要使用大型数据中心和云计算资源，以及大量的计算能力和存储空间。要处理海量的训练数据，简单来说，训练和使用ChatGPT的成本还是很高的。总结AI人工智能说了很多年，一直处于发展阶段，并在一些特定领域取得了应用成果。但面对C端用户，基本上没有真正的人工智能应用产品可以拿到手。但这次ChatGPT的发布是一个里程碑式的节点事件，因为AI人工智能不再是普通人遥不可及的技术名词，而是真正触手可及的智能应用工具，能够让普通人真正感受到人工智能的力量人工智能人工智能。另外，我想说的是，也许ChatGPT只是一个开始。目前它只是按照人类的指令完成相应的任务，但未来随着人工智能自我学习的不断迭代，它可能会有意识，可能会自主做事。届时，人类面对的是万能的帮手，还是无法控制的恶龙，都将是未知数。
