近日，Reddit社区一篇批评机器学习领域的文章引发热议，获得3.1k点赞。作者盘点了机器学习领域的“八宗罪”，让研究者对机器学习的大环境有了新的思考。越来越多的研究人员选择进入机器学习领域。当研究人员进入该领域时，他们的初衷是“伟大的”：他们相信机器学习能够真正改善人们的生活。因此，与机器学习相关的顶级会议投稿数量每年几乎翻一番，而这些新的科研成果似乎真的能带来更美好的未来。Reddit社区的一位作者站出来表示：“机器学习社区存在毒性问题。”他盘点了机器学习领域的“八宗罪”，让研究人员对当前的机器学习环境有了新的认识和思考。这篇帖子在Reddit上获得了3.1k的赞。细数机器学习的“八宗罪”：同行评议流程被打破。NeurIPS会议接受的每四篇论文中就有一篇将放在arXiv上。一些DeepMind研究人员公开批评批评他们的ICLR提交的审稿人。虽然审稿人给了这些知名机构的arXiv论文拒稿，但最终还是被一些topconference接受了。死罪之二：结果反复引发危机。在测试集上调整优化超参数现在似乎是标准做法。然而，即使使用技巧调整了超参数，性能是否真的得到了提升，也是一个没有定论的事情。三宗罪：邪教问题。每一篇与斯坦福、谷歌或DeepMind有联系的论文都会获得荣誉，而BERT的引用次数是ULMfit的七倍。在ICML大会上，DeepMind的海报比其他海报吸引人的多。还有，尽管NeurIPS和ICML都是机器学习顶级会议，但前者的投稿数量是后者的两倍，或许只是因为“神经”这个词？四大罪：侵略和侵略。日前，YannLeCun谈到偏见和公平时，语气直白，但攻击他的人语气恶毒，太多人选择攻击他而忽略了事件本身。人们可能没有意识到，迫使LeCun离开Twitter并不能解决任何问题。五宗罪：逃避性别歧视和种族歧视。与其他计算机科学学科一样，机器学习也存在多样性问题。不可否认，我们计算机系只有30%的本科生和15%的教授是女性。在攻读博士学位期间休育儿假或博士后通常意味着学术生涯的结束。该领域的研究人员选择隐藏他们对种族主义或性别歧视的恐惧，但他们使问题变得更加严重。六大罪：道德和伦理是任意的。美国国内政治主导所有讨论，包括学术界。计算机视觉算法的数据集几乎不涉及人口超过10亿的非洲人，但没人在意。每个人在研究结束时都会说“有更深远的影响”，但这种影响往往仅限于特定人群。七大罪：机械论文出版。研究出版，写论文的唯一目的是为你的简历增加一行。纸张质量？这是次要的，重点是通过同行评审。研究组数量之多，导师可能不知道每个博士生的名字，一些研究人员每年向NeurIPS提交50多篇论文已成为常态。八宗罪：讨论中不存在语言文明。Schmidhuber称Hinton为小偷，Gebru称LeCun为白人至上主义者，Anandkumar称Marcus为性别歧视者。研究人员很容易被贴上“侮辱性”的标签，但这甚至与研究本身无关。“八大罪”引起争议。网友“反驳”机器学习。“盲目崇拜确实存在，但我想提出另一个假设来解释为什么谷歌/DeepMind的论文受到更多关注：信任。”每天都有大量新论文发表，因此不可能全部阅读。按作者过滤是我经常做的事情，虽然有偏见，但它确实有效。并不是说DeepMind的研究人员比其他人更有才华，而是他们承担的风险更大。DeepMind发表的论文通常都是有效的，如果论文被浇水或者不可重现，将会对整个公司造成不好的影响。因此，这些组织发表的论文很可能会经过更严格的“质量控制”流程和内部同行评审。我自己对此感到内疚，因为这是我经常阅读的提交给arXiv的新文章的“头条新闻”。当我看到有趣的东西时，我会先看作者，如果是DeepMind/Google/OpenAI/等，我会仔细看看。如果是一群我从未听说过的人，我会翻页。为什么？因为在我看来，后一组作者更有可能“编造东西”并且他们的错误没有被注意到，因为他们没有像DeepMind论文那样经过相同的内部质量控制，所以我更有可能得到错误信息。这与我欣赏DeepMind无关，是他们的工作方式让我更加信任他们。这是错误的吗？也许是偏题，我们更应该关注内容本身，但有时论文太多，没人愿意浪费时间。也有人反驳这种懒惰的行为。“我不用看作者就能快速阅读一堆论文。”好吧，IchimokuTenxing-kun确实如此。关于第三宗罪，有网友吐槽谷歌。BERT使语言模型非常易于使用，并为其他研究人员铺平了道路。它确实值得更多关注。ULMfit没有BERT的参考文献多，这是很自然的。网友@dataism和几位小伙伴也写了一篇论文，讨论机器学习领域当前论文中存在的几个突出问题。机器学习的最新进展，尤其是深度学习，引入了在一些复杂任务中优于传统算法和人类的方法，从图像中的对象检测和语音识别到玩高难度的战略游戏，但许多算法及其在现实世界中的表现应用程序，似乎有一个HARKing循环（已知结果然后假设）。本文详细介绍了这一现象的算法、经济和社会原因及后果。文中列出了一些常见的操作，比如隐藏负结果、不提泛化能力等，有兴趣的同学可以仔细阅读，减少论文被拒的风险（我不是在宣传这些灌水技巧）。还有关于作者学校歧视的热烈讨论，这在学术界很常见，尤其是在CS/ML领域。当你在哈佛或斯坦福时，你的论文被接受的概率会高得多。而这些名校的录取，天生就带有财富和名誉的偏见。你可以找很多理由否认，但数据是不会说谎的。如果你的父母上过斯坦福大学，你被录取的可能性是原来的三倍！哈佛也不例外。父母收入在前1%的学生占15.4%。“多元化和包容性”的口头禅几乎完全抛弃了贫困家庭或那些在机器学习领域没有受过高等教育的人。在学术界，来自社会底层的学生被拒绝的比率可能更疯狂。
