机器学习的一个重要研究是提高模型的泛化能力，而训练模型时的一个假设，即分布和测试训练集数据同一套。但是，模型所面临的输入数据来自于现实世界，即不稳定的、不断演化的，数据分布会随着环境的变化而变化。虽然对于人类来说，这个问题是很容易解决的。比如网络术语层出不穷，但大家都能很快接受并熟练使用，但对机器来说就很难了。人类可以通过重用相关的先验知识来快速适应和学习新知识。如果将这种思想应用到机器学习模型中，我们首先需要弄清楚如何将知识分离成易于重组的模块，以及如何修改或组合这些模块。以实现新任务或数据分布的建模。基于这个问题，图灵奖获得者YoshuaBengio最近在arxiv上发表了一篇论文，提出了一种模块化架构，由一组相互竞争的独立模块组成，利用key-valueattention机制来寻找相关知识。研究人员对模块的参数和注意力机制采用元学习的方法，以强化学习的方式实现对分布变化或新任务的快速适应。该团队研究了这种模块化架构是否有助于将知识分解为不可更改和可重复使用的部分，从而使生成的模型不仅具有更高的样本效率，而且还可以概括各种任务分布。该模型基于包含一组独立和竞争模块的循环独立机制(RIM)架构。在此设置中，每个模块通过注意力独立行动并与其他模块交互。不同的模块通过输入注意力处理输入的不同部分，模块之间的上下文关系通过注意力的交换建立起来。研究人员还展示了如何使用元学习在不同的时间尺度上以不同的速度训练网络的不同组件，同时捕获基础分布的快速变化和缓慢变化的方面。因此，该模型既有快速学习阶段，也有慢速学习阶段。在快速学习中，激活的模块参数会快速更新以捕获任务分布的变化。在慢速学习中，两组注意机制的参数更新频率较低，以捕获任务分布的更稳定方面。该团队在MiniGrid和BabyAI套件的各种环境中评估了他们提出的Meta-RIM网络。他们选择平均回报和平均成功作为衡量标准，并将Meta-RIMs网络与两个基准模型进行比较：vanillaLSTM模型和模块化网络。结果表明，所提出的方法能够提高样本效率，从而更好地泛化到在训练分布中系统变化的策略。此外，这种方法可以更快地适应新版本，并通过重用从类似的先前学习任务中获得的知识以增量方式训练强化学习代理，从而更好地学习知识。.这项研究成功地利用模块化结构上的元学习和稀疏组合来捕获潜在机制的短期和长期方面，确认元学习和基于注意力的模块化可以带来更好的样本效率，超出-分布泛化和迁移学习。Reddit网友idea崩溃了？论文一出，在Reddit上引起了热烈的讨论。有位小弟发表评论说我觉得挺难受的。我已经做了4年了，今年我会发布它，但它仍然领先于我。后来补充说这不是完全相同的工作，但非常接近。这也让无数人放心，类似的结论可能来自不同的方法，每一种方法都是有价值的。有网友认为你的实力已经可以和本吉奥他们比肩了，这是好事！还有其他人对同一件事有不同的想法，这也可能对你有所启发，促进你的工作。知乎上的网友也对此提出了质疑。有网友表示，两篇论文都撞了，CV太大了。论文和老板碰撞的时候，根本没有反抗的余地，因为别人的作品都是无可挑剔的。如果有机会，一定要挖坑而不是填坑。目前，一些关于深度学习的工作已经到了苦苦钻研的地步。BERT一出来，各种基于BERT的工作就层出不穷。这只是一个验证工作，不能激励同行。毕竟牛顿和莱布尼茨现在还在比拼微积分，普通人崩溃也很正常。你有过论文崩溃吗？
