ChatGPT无疑是最近网络上最帅的家伙。通过这段时间的使用和一些资料的查阅，小王了解了它背后的一些原理，并试图解释一下ChatGPT应用的底层原理。如果有什么不对的地方，请指正。阅读本文或许可以为您解答以下问题：为什么ChatGPT有的收费，有的不收费？为什么ChatGPT逐字回答？为什么中文问题的答案有时会让人哭笑不得？为什么你问它今天是几号，而它回答是过去的某个时间？为什么有些问题拒绝回答？“ChatGPT国内版”的运行原理随着ChatGPT的火爆，出现了很多国内版本。这个版本是免费的，因为使用次数和后续收费方式不同。小王师兄画了个草图，试图帮助理解。【针对方法一】：注册账号后即可科学上网使用，目前没有次数限制。注册费用可以参考我之前的文章。【对于方法二】：据了解，不需要科学上网，使用费用是购买“国内版ChatGPT”运营商的服务，所以使用费用也不同。ChatGPT，它在内部是如何工作的？首先，OpenAI于2022年11月30日推出了一款新的对话助手。该聊天机器人基于语言模型（LLMofLargeLanguageModels）GPT-3，或者更准确地说，它的版本是3.5。ChatGPT实际上是InstructGPT的改编版，后者于2022年1月推出，但当时并没有给人留下同样的印象。与其前辈相比，ChatGPT为何如此强大？相信它能够自动生成类似人类的文本，并且能够在考虑对话上下文的同时避免其前辈的缺点，例如来自Microsoft的Tay或来自Meta的Galactica。Tay在24小时内变得种族主义和仇外。卡拉狄加正在制造废话和错误信息，并且可以以非常有说服力的方式谈论种族主义。Tay在24小时内关闭，Galactica在三天后关闭。OpenAI似乎从微软和Meta的错误中吸取了教训。在极短的时间内，将系统推向了前所未有的高度。什么是GPT-3？GPT（GenerativePre-trainedTransformer）系列模型是由基于Transformer技术的语言模型组成。它由总部位于旧金山的公司OpenAI开发。OpenAI于2015年12月由ElonMusk（特斯拉电动汽车的拥有者）和美国商人SamAltman共同创立，SamAltman是孵化器YCombinator（Scribd、Reddit、Airbnb、Dropbox、GitLab、WomenWhoCode等）的前身。）总统。)，自2020年起担任OpenAI董事会主席。2020年，GPT-3是有史以来最大的语言模型，拥有1750亿个参数。它太大了，需要800GB的内存来训练它。LLM通常是由大量不同语言和领域的示例文本生成的。GPT-3在来自CommonCrawl、WebText2、Books1/2和Wikipedia的数千亿个英文单词上进行了训练（小王认为这就是我们用中文提问的原因，它的回答有时会让我们发笑）。它还接受了使用CSS、JSX、Python等编码的程序示例的培训。它以2048个token作为输入，这使其能够处理大约1,500个单词的非常大的句子（OpenAI认为token是一个单词的一部分中大约四个字符，并使用1,000个token来表示大约750个单词作为示例）。GPT-3被归类为生成模型，这意味着它主要接受训练以预测输入句子末尾的下一个标记，即下一个单词（这就是它逐字出现在屏幕上的原因）。现在在搜索引擎或Outlook中发现的自动完成机制。GPT-3因其生成非常接近记者或作家文本的能力而被多次引用。只需将它放在句子的开头，它就会逐字完整地完成段落或文章的其余部分。通过扩展，该模型已经展示了其处理各种语言处理任务的能力，例如翻译、回答问题和填充文本中缺失的单词。GPT-3.5是GPT-3模型的变体。直到2021年第四季度，它一直使用选定的文本和代码的混合物进行训练。这解释了为什么ChatGPT在该日期之后无法唤起事实。（这解释了为什么你问它现在是什么日期，它回答过去的某个时间）。我们是否有拒绝回答的问题？如果我们问一些不道德的问题，它会拒绝回答：如下：它会礼貌地拒绝回答。与Tay和Galactica不同的是，ChatGPT的培训是使用审核API在源头进行审核的，这允许在培训期间推迟不适当的请求。尽管如此，误报和漏报仍可能发生并导致过度节流。ModerationAPI是由GPT模型根据以下类别执行的分类模型：暴力、自残、仇恨、骚扰和性行为。为此，OpenAI使用匿名数据和合成数据（零样本），尤其是在数据不足的情况下。最后，ChatGPT模拟真实对话的能力非常出色。即使我们知道它是一台机器，一种算法，我们也只能陷入向它提出如此多问题的游戏，以至于机器凭借其丰富的知识显得神圣不可侵犯。但仔细一看，它仍然是一个句子生成器，没有像人类一样的理解和自我批评。我更好奇接下来会发生什么，以及他们使用这种类型的架构会有多成功。参考：模型索引：https://beta.openai.com/docs/model-index-for-researchersInstructGPT：https://openai.com/blog/instruction-following/ChatGPT：https://openai.com/博客/chatgpt/BLOOM：https://bigscience.huggingface.co/blog/bloomY组合器：https://fr.wikipedia.org/wiki/Y_Combinator
