ChatGPT爆了，Meta也坐不住了。微软和谷歌在搜索引擎端拼刺刀。谁能想到Meta突然抛出一篇新论文，顿时引起了全场的关注：针对ChatGPT的“弱点”，让大语言模型自己学会使用工具！简单来说，基于Meta的思想，ChatGPT的大语言模型可以弥补不足：如果你不会数，可以拿出计算器来计算；如果需要最新的资讯，可以连接搜索引擎搜索……是不是有点AI在操纵你的内心品味？论文一出，许多AI研究人员将其视为“过去几周最重要的论文”。这篇论文打开了人们的思路，让大语言模型成为未来万物的起点。另一位网友表示：我老婆一开始对AI不是很关心，但是听到Meta的论文我就震惊了。普通人真的要好好想想这个。自学工具使用的大语言模型这次，Meta将这个工具的语言模型命名为Toolformer。Toolformer的核心逻辑可以简单概括为：专业的任务交给专业的工具。在生成文本的过程中，遇到特定的任务，Toolformer会直接调用所需工具的API。比如在执行这个任务时：1400人参加，400人通过测试，百分比是多少？（为了让ChatGPT掌握数学运算，OpenAI下了很大的功夫，详见Qubits:ChatGPTOvernightIteration:YourWifeIsNotWorking）Toolformer一点也不慌，直接把计算器“拿出来”，当场计算结果：29%。或者，我想记下某事，但我只知道今天是星期五，但我不知道确切的日期？没关系，直接把日历拿出来看看。连翻译任务都可以直接丢给它，各国语言都能识别翻译，直接省去了软件里切换语言的功夫。除了这些工具，Toolformer还可以调用问答、搜索引擎等工具。这时候，有网友已经开始畅想未来：现在ChatGPTBing可以帮你比价酒店价格，那以后有了Toolformer，是不是就可以交给AI来订高性价比的酒店了？？不过话说回来，Toolformer在面对不同的任务时，可以流畅的调用相应的工具。它是怎么做到的？简而言之，Toolformer经过训练可以将API调用插入到生成的文本中，直接将任务外包。其中，训练过程以自我监督的方式进行。这意味着无需大量人工标记的数据，Toolformer只需几次演示即可学会调用API。具体来说，首先给Toolformer提供少量人工标注过的例子，然后让语言模型在实践中生成一个更大的包含例子的数据集。这个过程主要分为三个步骤：首先是采样。通俗地说，就是在输入的文字提示中查看需要调用哪个工具，然后直接将“调用的API”插入相应的地方；其次，执行。“调用API”任务的第一步是直接插入生成的文本；最后一步是过滤，如果上一步工具生成的文本对于输入的文本不是很有用，可以直接pass，保留有用的部分文本。这样，基于这些有用的数据集，Toolformer就可以微调预训练的大型语言模型。说了这么多，Toolformer的真正作用是什么？有横向数据对比吗？该论文将Toolformer与其他几个大型语言模型进行了比较，包括GPT-J、OPT（66B）和GPT-3（175B），比较了它们在数学、问答和机器翻译方面的能力。结果表明，在学习使用该工具后，GPT-J的零样本学习性能显着提高。△Toolformer：在GPT-J上做了fine-tuned，在CCNet子集中增强了API调用/Toolformer(disabled)：同上，但是解码时API调用被禁用，在大部分任务上性能有明显提升，在一些下游任务中Toolformer甚至已经超越了GPT-3。说到“未来大型语言模型发展的一个重要分支”，不知道大家怎么看。不少网友按捺不住，想着拔掉AI电源。引发更多讨论的是，有观点认为Toolformer可能是LLM（LargeLanguageModel）未来发展的一个重要分支。大语言模型进化出了使用工具的能力，知道什么时候应该使用什么工具来满足需求，这意味着很多今天仍然需要人和AI合作的任务，未来都可以由AI来完成。比如现在还有一些“人工智障”的语音助手。如果背后有ChatGPT+Toolformer的技术支持，那么从选择符合需求的餐厅到直接订位，这一系列动作都可以顺畅衔接。另一个例子是微软的Bing搜索访问ChatGPT。如果这些大型语言模型能够充分调用各种AP??I，使用UI，那么不仅可以帮助人们完成搜索，还可以彻底改变人们操作网页的方式——所有的输入都可以还原为自然语言。甚至，像ChatGPT这样的模型也有可能借助各种API重写自己的代码。事实上，让AI掌握工具使用的研究方向并不只有Meta一家在做。比如谷歌即将嵌入搜索的Bard，其模型LaMDA背后内置了一个工具箱，包括计算器、翻译器，以及访问搜索引擎获取外部信息的接口。还有开源项目LangChain，同样致力于将大型语言模型与外部计算和知识源相结合，开发真正可用的应用程序。而现在，Meta在工具的使用上，将大模型的“熟练度”和“自主度”提升到了一个更高的层次。不过，也有网友指出，Toolformer所展现的“自学”能力仍然是初级的、“狭隘”的版本。模型本身仍然是纯函数：给定相同的输入（包括采样时的随机值），它总是会产生相同的输出。这有点像说大型语言模型可以学习使用领域特定语言作为其自然语言的一部分，从而整合来自外部工具的知识。OneMoreThingMeta的新论文火了，同时也挑起了人类的“反思”神经。不，一个新的模因已经发布：人类上瘾，而机器正在学习。论文地址：https://arxiv.org/abs/2302.04761
