本文盘点了NeurIPS'22优秀论文的亮点！英伟达AI大佬一句话概括每篇文章的重点，一起看透今年的科技趋势。15篇NeurIPS'22优秀论文发布，具体有哪些亮点？来来来，老板已经给你总结好了！师从现就职于英伟达的大佬李飞飞，49条推文，带大家回顾过去一年AI圈的重要研究。虽然不能赶到NeurIPS'22的现场，但还是可以提前在推特上感受一下大会的盛况。摘要推文发出后，立即成为网络热议话题，众多AI大佬纷纷转发。其他人看到了今年的技术趋势。每篇文章的亮点是什么？总结此贴的小哥叫林西“Jim”范（以下简称Jim）。对于每篇论文，他都给出了摘录亮点的一句话，简要阐述了自己的观点，并附上了论文地址和相关扩展链接。一起来看看详情吧~1.一句话训练和计算的最优大语言模型摘要：提出了一种新的700亿规模的语言模型“Chinchilla”，比1000亿规模的GPT-3和Gopher更有效。更强。吉姆说，通过这个模型，研究人员证明要实现“计算优化”，模型大小和训练数据大小必须相等。这意味着目前大多数大型语言模型的训练数据都不足。考虑到新的缩放定律，即使将模型参数扩展到千万亿级，效果可能还不如将训练令牌增加4倍。2.GoogleImagen的强项在于文本编码器的一句话总结：Imagen是一种从文本到图像的大规模超分辨率扩散模型，可以生成逼真的图像，在评分上击败了Dall·E2。Jim指出，与Dall·E2相比，Imagen使用了更强大的文本编码器T5-XXL，这直接影响了它的语言理解能力。比如在同一题目的对比中，左边是GoogleImagen选手眼中的“猫绊倒人像”的创作，右边DALL·E2选手的创作是姜阿姨：3.ProcTHOR:RoomModelSimulator一句话总结：ProcTHOR是一个AI，可以生成大量定制的、实用的房间模型。和Chinchilla一样，ProcTHOR也需要大量的数据进行训练，然后从中推算出自己的生成方案。这个结果是由艾伦人工智能实验室提出的，此前他们也提出了一些家用机器人的模型，比如AI2THOR和ManipulaTHOR，可以让它们感知房间环境。4.MineDojo：观看70,000小时的《我的世界》视频，学习高级人类技能。总结：本研究提出了一个由3个智能体（agents）组成的“embodiedGPT-3”，可以在无限的世界中感知和行动。研究团队认为，训练通才智能体需要三个因素：第一，一个可以包含无限不同类型任务的开放环境（例如，地球是一个开放环境）；第二，一个大规模的知识库，可以教AI做什么，做什么；第三，足够灵活的代理框架，可以将知识转化为实际操作。综上所述，《我的世界》是一个绝佳的练兵场。研究团队让AI观看7万小时的《我的世界》视频后，学会了使用钻石镐、搭建“简易避难所”等人类玩家的高级操作。值得一提的是，该成果的仿真套件、数据库、算法代码、预训练模型，甚至标注工具都是开源的！5.LAION-5B：历史上最大的公共和开放的多模态图形和文本数据集。一句话概括：包含58.5亿个CLIP过滤器的图文对数据集。LAION-5B不用过多介绍，就是StableDiffusion用的。该数据集获得了今年NeurIPS最杰出数据集论文奖。目前，稳定扩散2也已上线。6.BeyondNeuralNetworkScalingLaws:DefeatPowerLawswithDatasetPruning一句话总结：通过仔细筛选训练样例，而不是盲目收集更多数据，有可能大大超越神经网络的缩放定律。在这项研究中，Meta和Stanford学者通过数据蒸馏降低了数据集的大小，但保持了模型性能不下降。实验验证，在削减ImageNet20%的数据量后，ResNets的性能与使用原始数据时的正确率相差不大。研究人员表示，这也为AGI的实现开辟了一条新的路径。7.让AI自己调整超参数一句话总结：利用超随机梯度下降法实现超参数自动调整。GoogleBrain设计了一个基于AI的优化器VeLO，它由LSTM（长短期记忆网络）和超级网络MLP（多层感知器）组成。每个LSTM负责设置多个MLP的参数，每个LSTM通过全局上下文信息相互协作。使用元训练，VeLO将参数值和梯度作为输入，输出需要更新的参数。结果表明，VeLO在83个任务上优于一系列当前可用的优化器。8.使用自然语言和程序抽象，让机器学习人类的归纳偏好。一句话概括：用自然语言来描述和引导程序，让智能体的行为更像人类。该论文表明，大量人类抽象先验知识存储在语言和程序中，代理可以在元强化学习设置中学习这些归纳偏好。以下是是否使用人类抽象先验知识的比较：9.新方法改进了扩散模型的结果。一句话总结：Nvidia分析了扩散模型的训练过程，得到了一种新的方法来改进最终生成的结果。本研究提出了许多提高模型生成效果的实用方法：一种新的采样过程，大大减少了合成过程中的采样步骤；改进了训练过程中噪音水平的分布；其他改进的方法，例如非泄漏增强，即不将构建分布暴露给生成器。10.NeuralCorpusIndexer(NCI)一句话总结：NCI可以直接为特定查询生成相关文档标识符，显着提高信息检索性能。传统的检索系统基于文档向量嵌入和最近邻搜索。另一方面，NCI使用端到端的可微分模型，大大简化了搜索管道，并有可能在单个框架中统一检索、排名和问答。11.一种新的抽样方法一句话总结：加州大学设计了最高效的算法，从多个分布中抽样，按需抽样。该研究使用随机零和博弈方法研究多分布学习问题。多重分布学习在机器学习公平性、联邦学习和多学科协作方面具有重要应用。其中，分布可能不平衡或重叠，因此最优算法应该按需采样。12.分布外（OOD）检测是可学习的吗？一句话概括：OOD检测在某些条件下是不可学习的，但这些条件并不适用于某些实际情况。具体来说，Jim说，我们熟悉的监督学习的测试数据是内部分布的，但现实世界是杂乱无章的。并且本研究利用PAC学习理论，提出了三个具体的不可能性定理，推导了在实际环境中确定OOD检测的可行性。更重要的是，这项工作也为现有的OOD检测方法提供了理论基础。13.Riemannscore-basedgenerativemodels(RSGMs)一句话总结：这是一类将模型扩展到黎曼流形（相对于欧氏空间中的数据）的生成模型。扩散模型在人工智能领域取得了长足的进步，但大多数模型都被假定为一个平面流形。但在机器人学、地球科学或蛋白质折叠等领域，数据也可以在黎曼流形上得到很好的描述。这项研究使稳定扩散应用于气候科学成为可能。14.SGD的高维极限定理一句话总结：研究一种统一的方法来理解高维情况下步长恒定的随机梯度下降的缩放极限。它的核心贡献是开发了一种统一的方法，使我们能够理解SGD在连续步长下的高维度缩放限制。研究团队还在当前流行的模型中演示了该方法，示例也显示了良好的结果：包括用于收敛和收敛到次优解的多模态时间尺度，概率从随机初始化开始远离零。15.RODEO：减少估计梯度方法REINFORCE的方差。一句话总结：利用Stein算子控制变量，提升REINFORCE的性能。离散变量使神经网络不可微，因此一种常用的梯度估计方法是REINFORCE，但这种方法存在方差大的问题。本文提出了一种用Stein算子控制变量增强REINFORCE的高性能方法：“RODEO”。此外，可以在线调整此类控制变量以最小化方差，而无需对目标函数进行额外评估。在基准生成建模任务中，例如训练二元变分自动编码器，所研究的梯度估计器实现了相同数量的函数估计所达到的最低方差。老板是英伟达的，跟李飞飞学习总结了这个超话的老板吉姆，现在就职于英伟达。他的研究方向是开发具有通用能力的自主代理。上面这篇关于让AI学习《我的世界》人类玩家技能的论文就是他的成果。曾在斯坦福大学视觉实验室学习，师从李飞飞。曾在谷歌云、OpenAI、百度硅谷人工智能实验室等实习。
