你们以为顶级学术会议期刊的审稿人都是各自领域的专家吗？其实你辛辛苦苦几个月的researchpaper，审稿人很可能是一群本科生或者研究生？近日，洛桑联邦理工学院（洛桑联邦理工学院）女物理学家LenkaZdeborova在推特上抱怨审稿人机制。申请研究生已经有topreview经验？他们中有很多。我正在审查EPFL计算机科学研究生院的申请，我看到许多申请者都有担任顶级ML会议审稿人的经验，我想知道为什么我们要为大部分同行评审是由本科生完成做同行评审而烦恼！？LenkaZdeborová是EPFL的物理学和计算机科学教授，她领导计算学院的统计物理系。她是许多学术期刊的编委，例如JournalofPhysicsA、PhysicalReviewE、PhysicalReviewX、SIMODS、MachineLearning:ScienceandTechnology、InformationandInference。Lenka的专业领域是将统计物理学的概念（例如高级平均场方法、复制方法和相关消息传递算法）应用于机器学习、信号处理、推理和优化中的问题。有业内人士认同，研究生一年级已经可以在topmeeting上审稿，没有人认为这是个问题。你以为的审稿人就是这些学术界的大咖，其实都是本科生或者研究生……我知道回答者“卡卡卡卡比”认为这种现象是家常便饭。从ICLR到AAAI，审稿人水平参差不齐，如果你不能保证你的论文落到一个本科生手里。吐槽完审稿人的水平，关键是要思考如何写出一部让大家说得通的作品，兼顾大部分审稿人的口味。来源：KakaKakabi另一位受访者“HysteriaI”也认为审稿人很少了解你的领域，所以你应该把论文的结果呈现清楚，让别人看不懂是你的问题。来源：Hysteria顶级审稿人将如何审稿？那么顶级审稿人将如何审稿呢？同行评审（Peer-review）是现代科学的基石，几乎所有顶级机器学习（ML）会议（如NeurIPS、ICML、AAAI）都依靠它来决定提交的论文是否与社区相关和原创足以在那里发表。不幸的是，随着提交数量在过去十年中呈指数级增长，审查质量也同样迅速下降。如果你曾经向其中一个会议提交过一篇论文，经过数月的努力研究你认为是一个绝妙的想法，你得到的是蹩脚的、无用的，而且（更糟糕的）具有讽刺意味的。评论意味着您将不得不重新经历一次提交过程，而没有任何提示您的论文有什么问题。图灵奖获得者GeoffreyHinton在2018年接受Wired杂志采访时给出了其中一个原因：如今，如果你提交一篇带有全新想法的论文，它根本没有机会被接受，因为这些年轻的审稿人简直无法理解。或者会遇到资深审稿人审稿太多，一看就不懂，觉得肯定是扯淡。我认为这真的很糟糕。知乎的回答大师电光幻影炼金术对审稿人的拒稿做了一个假设。如果你发现你的论文因为一些审稿人不理解的概念性问题而被低分，有以下三种可能：（1）审稿人是本科/低水平博士生，他看不懂这些概念。(2)审稿人是个超级大佬，很重视基本概念问题，也没有多年从事这个领域。(3)审稿人是超级大佬，但是他没时间，交给他的师弟博士。学生审阅稿件。所以，学术圈就是一个轮回，本科生的表现和超级大佬最相似。你认为理想的审稿人：周一打开论文，看摘要，速读，评价新颖性。周二细看法，挑毛病。周三看实验，看baseline的相关论文，查看实验细节。周四开始写审稿意见，决定审稿分数。周五加点审稿意见，提交审稿分数。实际审稿人：周一早上8点打开审稿，看了摘要，感觉没什么新意。看图感觉不看文字就看不懂了。翻到后面看实验数字，感觉提升不大。看方法，太多了，四页都看不完。下午还有事，给5分走人。审核工作于周一上午11:30结束。来看看ICML2022的审稿规则：选题意义：这部分审稿的目的是向MR（Meta-reviewer）和作者展示你对这篇论文的理解和对这篇论文的看法。写作创新、相关、重要：它们与我们的社区相关吗？它们是新的吗？如果答案是否定的（或部分否，例如引用较早论文的精确结果），则需要一个确切的理由，以便作者知道如何修改论文。可靠性：理想情况下，论文的主张应该得到理论论据或实验结果的充分支持。写作质量：论文是否组织良好且写得清晰？它是否很好地解释了新颖性和结果？该论文是否包含支持其主张所需的足够信息？参考文献：这篇文章在当代文学中的位置是否合适？如果没有，请说明缺少什么。请注意，由于论文的页数限制，通常需要判断是否应提及结果。而这些属于第一阶段审稿人的审稿标准，符合审稿标准的才可以进入第二阶段。通过第一阶段的论文将由元审稿人（MR）和项目主席进行审阅，然后将有额外的审稿人以确保论文审阅的质量。以及为什么现在topconference的审稿人水平参差不齐，甚至出现了一批本科生和研究生。主要原因是行业发展太快，投稿数量的增长远远快于合格审稿人的培养速度。这不仅导致能够审稿的人越来越少，而且有能力的审稿人花在每篇文章上的时间也越来越少。
