我这个门外汉，在机器学习社区能看到这些问题。近日，一位传统行业的从业者观察了机器学习研究社区的现状，发现了一些问题并在reddit上发帖。多位机器学习从业者也发表了自己的看法，参与了讨论。帖子作者注意到，机器学习社区的许多研究人员正在从事优化、控制和信号处理等“老领域”的交叉研究。他们会突然发表大量声称解决某个问题的论文。问题本身通常是最近的，使用的方法会涉及到一些深度神经网络。然而，仔细观察就会发现，这些研究的唯一新颖之处在于它们提出的问题，而不是研究人员对问题的解决方案。令他感到困惑的是，为什么大量看似平庸，几乎是对80年代乃至60年代以后各个领域的技术进行重新排列的文章，却能被接受？经过仔细研究，笔者发现了机器学习社区存在的一些问题。只有机器学习的顶尖人才会欢迎这样一个事实，即许多研究人员只在机器学习会议上发表文章，而不是在专门针对他们研究的会议或期刊（例如JournalofOptimizationandControl）上发表文章。例如，在一篇对抗性机器学习论文中，几乎整篇论文都是在解决一个优化问题，但所提出的优化方法基本上是其他成熟研究成果的变体。作者还指出，如果一篇论文没有被NeurIPS或ICLR接受，它将被转发给AAAI或其他鲜为人知的会议，这一点也不浪费。有人评论说，这其实与会议的口碑有关：“在NeurIPS等顶级机器学习会议上发表的研究，收入可能是其他会议的十倍。但是，一些子领域的会议也受到高度重视，比如计算机视觉领域。NLP中的CVPR，自然语言处理中的ACL会议等。”审稿人不知道该领域发生了什么通过公开审稿，我发现审稿人（不仅仅是研究人员）对他们所属的特定领域一无所知。他们似乎只是为了正确性而不是新颖性来审阅论文。事实上，我怀疑审稿人是否理解这种方法有多新颖。评论区有网友表示：这个问题也存在，但似乎很难解决。因为机器学习领域呈爆炸式增长，并不是每个审稿人都能跟上该领域发展的步伐，有些审稿人的知识确实滞后。引用混乱通常，机器学习领域的研究人员只会引用自己或其他机器学习从业者近几年的研究成果。偶尔会出现引用数百年前研究的案例，那可能是因为牛顿、柯西等人的经典著作。然后引用研究的年份突然跳到2018年、2019年。有人指出，这个问题主要是追溯难造成的。经过多年的发展，很多名词的名称已经与几十年前不一致了。目前机器学习社区的论文引用主要来自谷歌搜索，一些术语的原始出处并不容易找到。堆叠数学公式在论文中，经常会出现将数学公式堆叠在一起，形成一面巨大的“数学墙”的情况，比如证明特征值、梯度、雅可比矩阵等数学问题的深奥条件。有些定理并不真正适用，因为在高度非凸的深度学习应用中，定理的前提条件不满足。因此，从这些错综复杂的数学定理中得到的只是一些微弱的直觉，这些直觉可能会立即被推翻。有网友指出，“数学墙”很让人沮丧。由于有数学公式的论文似乎更容易被接受，所以很多论文都有公式，但有时公式并不是必需的。为什么会这样？有人猜测，一个不太专业的审稿人可能会拒绝一个他不理解的想法，因为他不喜欢它。但看到“数学墙”后，ta可能会给出更严格的审核结果，比如“WeakAccept”或“WeakReject”。缺乏后续研究作者还发现，一些研究人员在提出优于其他研究的新基准后，并没有进行更多的后续研究来进一步发展本研究中提出的技术方法。但在其他领域，部分研究团队成员随后花费大量时间和精力完善研究提出的方法，有些研究甚至贯穿了部分研究人员的整个职业生涯。上述问题使得机器学习社区在某种程度上成为了一个“回音室”。研究者只是将大量已知的研究成果重新整理，用他们问题的新颖性来掩盖创新的不足。然而，这些论文被接受是因为很少有人能发现这些研究缺乏新颖性。基于以上疑问，来自传统行业的作者最后说：“机器学习社区就像一棵自动接稿的摇钱树。”讨论在评论区，我们也发现了一些新的观点和看法。一位来自物理学领域的研究者表示：“在理论物理等硬科学中也存在类似的问题。‘不出版就灭亡’的观念根深蒂固，没有人是理性的。尝试解决一些实际的、有意义的问题。”这位理论物理学家还指出，不仅研究方向有偏差，论文发表周期也在缩短，降低了研究质量。发表论文的多少已经成为评价标准，很少有研究人员致力于解决科学问题。此外，有人指出：“一些ML研究人员似乎并不了解性能提升的根本原因，他们只是做了一些简单的改进。”这也是一件令人沮丧的事情。虽然这些问题仅代表原帖作者和部分机器学习从业者的观点，但这也是机器学习社区的一个缩影，需要解决和完善。
