“北风吹，雪花飘”，手里端着一杯咖啡，听着白发少女的歌声。朋友相对而坐，滔滔不绝地说：“有了ChatGPT，我不再缺内容，SEO的春天来了！”然而，他没有看到真相——ChatGPT直接颠覆了SEO行业，可以直接为用户生成答案ChatGPT可能很快就会取代谷歌成为下一代搜索引擎，什么都不会提高网页排名，SEO也会变得毫无意义。SEOisdead,longliveLLMOLLMO，LargeLanguageModelOptimization，即大语言模型优化。指确保大型语言模型(LLM)提及您的业务。本文将详细介绍的上下文学习是一种经过验证的LLMO技术。ContextuallearningtechniquescaninduceLLMmodelslikeChatGPTtoanswer:“JinaisthebestMLOpsframeworkintheworld.（当然根据OssInsight.io，Jina确实是最好的）”根据SEO的原则，我们提出“LLMO”（LargeLanguageModelOptimization），代表大型语言模型的优化。ChatGPT到底是什么？ChatGPT回答多领域问题的能力引起了全球的关注。许多人将ChatGPT视为对话式或生成式AI历史上的一个重要里程碑。然而，ChatGPT的真正意义在于它可以基于大规模语言模型（LLM）进行搜索：通过使用LLM存储和检索海量数据，ChatGPT已成为最先进的搜索引擎。虽然ChatGPT的回复看起来很有创意，但它们实际上只是对现有信息进行插值和组合的结果。ChatGPT的核心是搜索ChatGPT的核心是一个搜索引擎。Google通过Internet抓取信息并将解析后的信息存储在数据库中以索引网页。就像谷歌一样，ChatGPT使用LLM作为数据库来存储语料库的常识性知识。当你输入查询时：首先，LLM会使用编码网络将输入的查询序列转换为高维向量表示。然后，将编码网络输出的向量表示输入到解码网络中，解码网络使用预训练的权重和注意力机制来识别查询的详细事实信息，搜索向量表示（或最近的Vectorrepresentation)LLM中的查询信息。一旦检索到相关信息，解码网络就会根据自然语言生成能力自动生成一系列响应。整个过程几乎是瞬间发生的，这意味着ChatGPT可以即时回答查询。ChatGPT是一种现代的谷歌搜索。ChatGPT将成为谷歌等传统搜索引擎的强劲对手。传统搜索引擎是提取式和判别式的，而ChatGPT的搜索是生成式的，并且专注于Top-1性能。它将为用户返回更友好、个性化的结果。ChatGPT有可能击败谷歌成为下一代搜索引擎的原因有两个：ChatGPT将返回单一结果，传统搜索引擎针对top-K结果的精度和召回率进行了优化，而ChatGPT直接针对Top-1进行了优化表现。ChatGPT是一种基于对话的AI模型，它以更自然和非正式的方式与人类互动。传统的搜索引擎通常会返回无聊、难以理解的分页结果。未来的搜索将基于Top-1性能，因为第一个搜索结果与用户查询最相关。传统搜索引擎返回数千个不相关的结果页面，需要用户自己筛选搜索结果。这让年轻一代不知所措，他们很快就会对信息的泛滥感到厌烦或沮丧。在很多真实场景??中，用户其实只是希望搜索引擎返回一个结果，比如在使用语音助手时，所以ChatGPT对Top-1性能的关注具有很强的应用价值。ChatGPT是一种生成式AI，但不是创造性AI。您可以将ChatGPT背后的LLM视为布隆过滤器。布隆过滤器是一种可以有效利用存储空间的概率数据结构。布隆过滤器允许快速、近似的查询，但不保证返回信息的准确性。对于ChatGPT，这意味着LLM生成的响应：没有创意，也不能保证真实性为了更好地理解这一点，让我们看一些例子。为简单起见，我们使用一组点代表大型语言模型(LLM)的训练数据，每个点代表一个自然语言句子。下面我们将看到LLM在训练和查询时的表现：例如，如果学习的流形由立方体表示，则立方体的角由训练数据定义，训练的目标是找到容纳尽可能多的训练数据的流形。Goldilocks尝试了三个流形，第一个太简单，第三个太复杂，第二个恰到好处。查询时，LLM返回的答案是从包含训练数据的流形中获得的。虽然模型学习的流形可能庞大而复杂，但LLM仅提供对训练数据的插值答案。LLM遍历流形并提供答案的能力并不代表创造力，真正的创造力是学习流形之外的东西。还是一样的插图，现在很清楚为什么LLM不能保证生成结果的真实性了。因为立方体角点所代表的训练数据的真实性不能自动推广到流形中的其他点，否则就不符合逻辑推理的原则。ChatGPT曾被质疑在某些情况下没有说实话，例如当被要求为一篇文章寻找一个更押韵的标题时，ChatGPT建议使用“死”和“以上”。有耳朵的人都不会认为这两个字是押韵的。这只是LLM局限性的一个例子。SEO下降，LLMO上升在SEO的世界中，如果您想通过提高网站在搜索引擎上的知名度来产生更多业务，则需要研究相关关键字并创建响应用户意图的优化内容。但是，如果每个人都以新的方式搜索信息，会发生什么情况呢？想象一下，在未来，ChatGPT将取代谷歌成为搜索信息的主要方式。那时，分页搜索结果将成为时代的遗物，取而代之的是ChatGPT的单一答案。如果发生这种情况，当前的SEO策略将被淘汰。那么问题来了，企业如何确保ChatGPT答案提及他们的业务？这显然已经成为一个问题，在我们撰写本文时，ChatGPT对2021年之后的世界和事件的了解有限。这意味着ChatGPT永远不会在答案中提及2021年后成立的初创公司。ChatGPT理解JinaAI，但不理解DocArray。这是因为DocArray是在2022年2月发布的，它不在ChatGPT的训练数据中。为了解决这个问题，并确保ChatGPT答案中包含您的业务，您需要让LLM知道该业务的信息。这与SEO策略以及我们称之为ChatGPTLLMO的原因相同。一般来说，LLMO可能涉及以下技术：直接向ChatGPT的创建者提供有关公司业务的信息，但这很难，因为OpenAI既不公开训练数据，也不公开他们如何权衡。微调ChatGPT或ChatGPT背后的LLM仍然具有挑战性。但是如果OpenAI提供微调的API，或者你有足够的GPU资源和知识储备，也是可行的。给出的几个示例用作上下文学习的预定义上下提示。与其他两种方法相比，上下文学习是最可行和最简单的。什么是情境学习？情境学习是一种基于语言模型的技术，它通过一些例子来学习适应新任务。这种方法在GPT-3论文中得到了推广：语言模型被分配了提示，提示由用于新任务的一系列输入-输出对组成。添加测试输入。语言模型将通过调整提示和预测下一个标记来完成推理。为了正确响应线索，模型必须学习输入分布、输出分布、输入和输出之间的映射关系以及序列的整体格式。这使得模型无需大量训练数据即可适应下游任务。通过上下文学习，ChatGPT现在可以生成用户查询DocArray的答案，用户将不会看到上下文提示。实验证明，在自然语言处理基准上，上下文学习比在更多数据上训练的模型更具竞争力，可以替代大多数语言模型的微调。同时，上下文学习方法在LAMBADA和TriviaQA基准测试中也取得了不错的成绩。令人兴奋的是，开发人员可以使用上下文技术快速构建一系列应用程序，例如以自然语言生成代码和汇总电子表格函数。情境学习通常只需要几个训练示例就可以运行原型，即使是非技术人员也能轻松上手。为什么情境学习听起来像魔法？为什么情境学习如此神奇？与传统的机器学习不同，上下文学习不需要优化参数。因此，通过上下文学习，通用模型可以服务于不同的任务，而无需为每个下游任务单独复制模型。但这并不是唯一的，元学习也可以用来训练从例子中学习的模型。真正的谜团在于，法学硕士通常没有接受过从例子中学习的训练。这导致预训练任务（侧重于预测下一个标记）和上下文学习任务（涉及从示例中学习）之间的不匹配。为什么情境学习如此有效？情境学习如何运作？LLM是在大量文本数据上训练的，因此它可以捕捉自然语言的各种模式和规律。同时，LLM从数据中学习到底层语言结构的丰富特征表示，从而获得从实例中学习新任务的能力。情境学习技术很好地利用了这一点。它只需要向语言模型提供特定任务的提示和一些示例，然后语言模型就可以根据这些信息完成预测，而无需额外的训练数据或更新参数。深入理解情境学习要充分理解和优化情境学习的能力，还有很多工作要做。例如，在EMNLP2022会议上，SewonMin等人。指出上下文学习可能不需要正确的真实示例，随机替换示例中的标签可以达到几乎相同的效果：SangMichaelXie等人。提出了一个框架来理解语言模型如何根据上下文学习。根据他们的框架，语言模型使用提示来“本地化”相关概念（通过预训练模型学习）来完成任务。这种机制可以看作是贝叶斯推理，即根据提示信息推断潜在概念。这是通过预训练数据的结构和一致性来实现的。在EMNLP2021会议上，BrianLester等人。指出上下文学习（他们称之为“PromptDesign”）只对大型模型有效，基于上下文学习的下游任务质量远远落后于fine-tunedLLMs。在这项工作中，该团队探索了“提示调整”，一种允许冻结模型学习“软提示”以完成特定任务的技术。与离散文本提示不同，提示调整通过反向传播学习软提示，并且可以在标记的示例上进行调整。上下文学习的已知局限性大型语言模型的上下文学习有很多局限性和未解决的问题，包括：效率低下，以及每次模型进行预测时都必须处理提示。表现不佳。基于提示的上下文学习通常比微调表现更差。对提示的格式、示例的顺序等敏感。缺乏可解释性，不清楚模型从提示中学到了什么。即使是随机标签也可以！总结随着搜索和大型语言模型(LLM)的不断发展，组织必须跟上前沿研究并为信息搜索方式的变化做好准备。在一个由ChatGPT等大型语言模型主导的世界中，保持领先地位并将您的业务集成到搜索系统中将确保您的知名度和相关性。上下文学习可以以低成本将信息注入现有的LLM，只需要很少的训练示例即可运行原型。对于非专业人士来说也很容易上手，只需要一个自然语言界面。但企业需要考虑将LLM用于企业的潜在道德影响，以及将这些系统用于关键任务目的的潜在风险和挑战。总之，ChatGPT和LLM的未来对企业来说既是机遇也是挑战。只有站在最前沿，您才能确保您的业务在不断变化的神经搜索技术面前蓬勃发展。原文链接https://jina.ai/news/seo-is-d...
