DeepMind又在Atari游戏上发力了！这次他们最新的智能代理MEME比两年前的Agent57快200倍，效果一样！Agent57是DeepMind于2020年开发的智能体，历史上首次在所有57款Atari游戏中超越人类基准性能。但它有一个致命的缺陷就是效率低下：需要近800亿帧的数据训练才能实现。现在，MEME的出现完美解决了这个问题。有网友看完表示：这才是真正的样本效率。话不多说，快来看看吧。新智能体：MEMEAgent57作为第一个在所有Atari游戏中超过人类基准性能的智能体，在性能上足够先进。但问题是，要实现这个目标，背后需要780亿帧的庞大经验训练，这在时间和成本上都是不小的开销。因此，从Agent57开始，DeepMind采取了一系列不同的策略来提高训练效率。他们调查了在减少数据机制中遇到的一系列不稳定因素和瓶颈，并提出了有效的解决方案，最终构建了一个更强大、更高效的代理：MEME。新的MEMEagent主要改进了Agent57的四个方面，分别是：A.实现了与稀有事件相关的学习信号的快速传播；B.不同价值尺度下的稳定学习；C.改进神经网络结构；D.在快速变化的政策下使更新更加稳健。为了实现这四个目标，DeepMind采取了以下方法，对应以上四点。A1.使用在线网络引导；A2。具有公差的对象计算；B1.损失和优先级归一化；B2.交叉混训；C1。未归一化的干线网络；C2。与合成损失躯干共享；D.通过策略蒸馏的稳健行为。这些方法旨在提高Agent57的数据效率，但这种效率提升不能以牺牲终端性能为代价。因此，为了测试上述步骤后代理MEME的效率和性能，研究团队分别在2亿、10亿、200亿和900亿帧的环境中进行了训练。从下图可以直观看出，新的agentMEME在3.9亿帧时超越了humanbenchmark，比Agent57快了两个数量级，在将参数数量从90B减少到1B时也取得了类似的结果。最后的表现。可以说，相比Agent57，MEME不仅提高了效率，还保持了性能。研究团队MEME的研究团队来自DeepMind。其中三位AdriàPuigdomènechBadia、StevenKapturowski和CharlesBlundell也是之前Agent57论文的作者。值得一提的是，StevenKapturowski是两篇论文的第一作者。毕业于美国科罗拉多大学博尔德分校，曾在苹果、微软、Glassdoor等公司工作，现为DeepMind高级研究工程师。
