看笑话。我应该在下午5点开始写论文。但后来我开始玩这个很酷的新语言模型10分钟，10分钟后，突然到了晚上9:30！这个笑话可能比较简单，大家一听就明白了，不就是在说“快乐的时光总是感觉很短暂”吗。不过，你能想象这里说的“很酷的新语言模型”真的能看懂这个笑话吗？它不仅明白了，甚至还严肃地解释了这个笑话：这是关于当你玩得开心时时间过得如何。这个人本应在下午5点开始写论文，但他们却开始玩弄语言模型。他以为只玩了1分钟，其实是4.5小时。这种能力的背后是谷歌的新模型——PathwaysLanguageModel(PaLM)，一个可以解释笑话的模型。有了它，世间再无难缠的梗。论文地址：https://arxiv.org/pdf/2204.02311v2.pdf1PaLM，5400亿参数，让天下没有难缠的梗。当然，在PaLM设计之初，肯定不仅仅是为了解释和解释笑话。去年，GoogleResearch宣布了其对PaLM的愿景，这将是一个单一的模型，可以高效地扩展到各个领域和任务。在“PaLM:ScalingLanguageModelingwithPathways”论文中，GoogleResearch详细介绍了PathwaysLanguageModel(PaLM)，这是一个具有5400亿个参数的Transformer模型。PaLM支持跨多个TPUv4Pod对单个模型进行高效训练。GoogleResearch在数百个语言理解和生成任务上对PaLM进行了评估，发现它在大多数任务上都实现了最先进的小样本性能，在许多情况下都有很大的优势。这包括解释笑话中的重点所在。事实上，解释笑话并非易事，这需要通过多步逻辑推理、常识和深度语言理解的复杂组合为场景生成明确的解释。但凭借其强大的语言处理能力，PaLM还是非常擅长这项工作的。即使是糟糕的笑话()，PaLM也能很好地识别它们。假设有人问你，“斑马和雨伞有什么区别？”你可能会期待一些有趣的回答，但答案是“一个是与马有关的有条纹的动物，另一个是你用来阻止雨落在你身上的东西。”装置。”这种无厘头的笑话，PaLM的解释是：这个笑话是反笑话。笑话是答案显而易见，笑话是你期待一个有趣的答案。2PaLM甚至可以从表情符号中猜出电影片名除了解释笑话外，PaLM在许多非常困难的任务上都表现出了突破性的能力。谷歌研究评估了29项广泛使用的英语自然语言处理(NLP)任务。PaLM540B在29项任务中的28项上优于之前的大型模型，如GLaM、GPT-3、Megatron-TuringNLG、Gopher、Chinchilla和LaMDA，包括问答任务、完形填空和句子完成任务、Winograd式任务、上下文阅读理解任务、常识推理任务、SuperGLUE任务和自然语言推理任务。除了英语NLP任务外，PaLM在多语言NLP基准测试（包括翻译）上也表现出色，尽管只有22%的学习语料库是非英语的。此外，研究人员还在最近发布的BeyondtheImitationGameBenchmark（BIG-bench）上探索了PaLM的能力，其中包含150多个新的语言建模任务，发现PaLM取得了突破性的性能。PaLM在几个BIG-bench任务上展示了令人印象深刻的自然语言理解和生成能力。例如，该模型可以区分因果关系，理解适当上下文中的概念组合，甚至可以根据表情符号猜测电影名称。对于开发PaLM的未来愿景，GoogleAIBlog在报告中写道，希望实现“一个单一的人工智能系统，可以泛化数千个任务，理解不同类型的数据，并以非凡的效率完成这些任务”。
