7月最热门AI研究榜单出炉！该榜单由Reddit网友@bycloudai根据推特点赞数、转发量和Github星数汇总，列为2022年7月人工智能研究前十名，包括DeepMind、谷歌、MITCSAIL等知名机构。让我们来看看谁上榜了~TOP1：Transformers的形式化算法作者：MaryPhuong，MarcusHutter组织：DeepMind摘要：本文旨在对Transformer架构和算法进行独立的、数学上准确的概述。它涵盖了变形金刚是什么、它们是如何训练的、它们的用途、它们的关键架构组件以及最杰出模型的预览。Top2：ConfidentAdaptiveLanguageModeling作者：TalSchuster、AdamFisch、JaiGupta、MostafaDehghani、DaraBahri、VinhQTran、YiTay、DonaldMetzler组织：Google、MITCSAIL摘要：基于Transformer的大型语言模型(LLM)最近进步推动了许多任务的性能显着提高。然而，随着性能的提高，模型的规模也在急剧增加，这可能导致复杂的推理过程和增加的成本。然而，在实践中，大型语言模型会产生一系列由不同难度组成的迭代。在这项工作中，我们介绍了置信自适应语言建模(CALM)，这是一种用于动态分配不同数量的计算机输入和生成时间的框架。早期退出解码涉及我们在此解决的几个问题，例如：（1）使用什么置信度度量；(2)将序列级约束与本地令牌的退出决策联系起来；(3)先前代币提前退出导致的回溯。损失的隐藏表示。通过对三种不同文本生成任务的理论分析和实验，我们证明了我们的框架在减少计算方面的功效——在保持高性能的同时潜在加速高达3倍。Top3：LanguageModels(Mostly)KnowWhatTheyKnow作者：SauravKadavath、TomConerly、AmandaAskell、TomHenighan等机构：Anthropic摘要：本文研究语言模型是否可以评估自己主张的有效性并预测它们就能正确回答什么问题。我们首先表明，当以正确的格式提供更大的模型时，它们可以很好地针对各种多项选择题和真/假问题进行校准。因此，我们可以通过让模型首先给出答案，然后评估其答案正确的概率P(True)来自我评估开放式抽样任务。我们发现P(True)的性能、校准和缩放在广泛的任务中令人兴奋。当我们允许模型在预测特定可能性的有效性之前考虑许多它自己的样本时，自我评估性能会进一步提高。接下来，我们研究了是否可以训练模型来预测P(IK)，即“我知道问题的答案”的概率，而不参考任何特定的建议答案。Top4：YOLOv7：Trainablebag-of-freebiessetsnewstate-of-the-artforreal-timeobjectdetectors作者：Chien-YaoWang,AlexeyBochkovskiy,Hong-YuanMarkLiao机构：中央研究院信息科学研究所Top5：LanguageModelCascades作者：DavidDohan、WinnieXu、AitorLewkowycz等：GoogleTop6：CollaborativeNeuralRenderingusingAnimeCharacterSheets作者：ZuzengLin、AilinHuang、ZheweiHuang等：武汉大学、旷视科技Top7：神经网络和Chomsky层次结构作者：GrégoireDelétang、AnianRuoss、JordiGrau-Moya、TimGenewein等机构：DeepMindTop8:LanguagemodelingwithPixels作者：PhillipRust、JonasF.Lotz、EmanueleBugliarello等机构：哥本哈根大学、约翰霍普金斯大学,UppsalaUniversityTop9:OnthePrinciplesofParsimonyandSelf-ConsistencyfortheEmergenceofIntelligence作者：马毅、曹颖、沉向洋机构：加州大学伯克利分校、何粤东港澳大湾区数字经济研究院这篇论文是由马毅教授、计算机科学家沉向阳博士和神经科学家曹颖教授共同发表的关于人工智能的出现和发展的研究综述。它可以看作是70年来人工智能发展的一个轮廓。Top10:ScalingLawsvsModelArchitectures:HowdoesInductiveBiasInfluenceScaling作者：YiTay,MostafaDehghani,SamiraAbnar组织：谷歌，DeepMind看完前10名领导者的论文，我们来谈谈关于这个列表细节的一些有趣的事情。众所周知，推特点赞是可以被机器人刷的，作者将点赞数作为榜单的关键指标确实值得商榷。此外，此前爆红的“无限视觉生成模型NUWA-Infinity”，推特点赞数仅排在第12位，但Github上的star数却超过了2.4k。由于《女娲无限》早在2021年11月就发布了第一个版本，而这个榜单只统计了之后第二个版本的点赞数，所以只排在第12位。
