在AAAI2023论文即将投稿之际,知乎上突然出现一张AI贡献群的匿名聊天截图。有的声称可以提供“3000元一次强收”的服务。消息一出,立即引起了网友的公愤。但现在不要担心。知乎老大“微调”表示,这极有可能只是“嘴嗨”而已。按照“微调”的说法,打招呼、帮派作案,是任何领域都无法回避的问题。随着openreview的兴起,cmt的各种弊端也越来越明显。未来留给小圈子运营的空间会越来越小,但空间总会有的。因为这是个人问题,不是投稿系统和机制的问题。引入公开审查和出价+随机匹配可能会有所帮助。而他个人的观点是,文章发表在NeurIPS、AAAI还是IJCNN上都无所谓,只要足够的宣传让大家知道你在做什么,引用就证明有用与否。那么,这种氛围在如今的顶会论文评审中是不是很普遍呢?有没有人因此而“名利双收”?什么都可以发财在讨论之前,我们先简单说一下这个标的是什么。有些会议为了方便分配审稿人,会设置竞标环节,让审稿人选择自己感兴趣的文章,然后系统可以参考这些审稿人的选择来分配论文。但是,审稿人在此阶段只能看到论文标题和摘要。而这其中,还有很多文章。各种匿名爆料,知乎另一位匿名网友表示版面小,微信聊天截图为证。事实上,再好的论文也可以相互竞标。这点小事不算什么。有网友表示,今年投稿给AAAI时,一本正经地让他们填写冲突用户、冲突域名等,但实际上并没有太大效果。这位知乎匿名用户甚至提出了一个惊人的解决方案:利用图神经网络、推荐系统等,自动挖掘出以每个导师为中心的关系网络,然后查看投标数据、审核数据、给分,让异常节点和关系很容易被挖掘出来,因为它们在图神经网络中像星星一样闪耀。或者干脆举办一次顶级会议投标数据挖掘比赛。不过有网友指出,这个所谓的“3000元包SA”其实有一个BUG:要知道,就算你强推,其他审稿人也会给borderline加weakreject,就白给了.毕竟这不是平均分录取。而如果有很大的不同,AC也不可能给。所以就算要给钱,也得用在“刀锋”上。这样一想,就得找SPC或者AC了。但是这个时候,你需要考虑两个问题(其实是一个):第一,这个级别的人,你就为了3000块钱搞定?第二,如果他们真的给你做,他们只收你3000?当然,除了投诉,还有一位资深审稿人“见义勇为”,表示如果看到审稿人给《Hydrology》打了高分,他会直接强拒,然后再写小作文猛diss一下,现在连模板都准备好了。据说所有会议和期刊都有类似的问题,只是比例和严重程度不同。本文不便多说。匿名用户的建议是正确的。人才审稿随机性如何?2021年,NeurIPS曾经进行过一次评论一致性实验。根据香港CS博士的《ElectricPhantomAlchemy》视频介绍,在这个实验中,有10%的概率将同一份稿件发给两组审稿人,而两组审稿人都没有知道彼此的存在。两组评审员分别打分,由两位领域主席对打分结果做出决定。这样就可以定量分析同一篇稿件得到不同审稿结果的可能性有多大。结果显示,第一组审稿人接受,第二组审稿人拒绝的概率是52%,超过了一半。而如果第一组审稿人拒了,第二组审稿人也拒的概率是83%。这个结果也符合李飞飞的观点。李飞飞曾经发表过一篇非常有名的文章讨论审稿,提出了两点:1.审稿过程具有很强的随机性。2.糟糕的论文得到糟糕的评论,这是一条不会随着时间或随机性而改变的黄金法则。NeurIPS官方也做了这样的对比。每篇论文不经过评审,而是随机决定,然后根据接受率和分歧率绘制一条曲线。横轴是接受率,纵轴是发散率。从图中可以看出,如果接受率很低或很高,那么发散率并不大。并且中间的发散率最大。如果接受率为50%,则差异最大。AAAI和IJCAI都采用这种模式,用高拒绝率换取低随机性。最后,《电幻炼金术》给出了这样一个关于人工智能复习的结论总结。在AAAI风口浪尖之际,AAAI2022的评审结果却饱受争议。有人在社交媒体上说,他的论文接受了4次,但最后被拒绝了。下面作者说四个审稿人都给出了“偏接受”或者“接受”的意见,而且在审稿意见中都是正面评价:idea很有趣,模型足够扎实,实验和分析很到位够全面。但最后的结果是:拒稿。AAAI2023依然采用两阶段+双盲评审模式。在第一阶段,每篇论文将接受两名审稿人。如果收到的两条评论都是负面的,则该论文将被彻底拒绝。其余的将进入Phase2。在Phase2中,每篇论文将至少接收两名新审稿人。新审稿人在提交评论之前不会看到第1阶段的审稿结果。进入第二阶段的论文作者可以回复所有审稿意见。计划委员会和高级计划委员会的讨论将基于作者的反馈。至于具体的操作方法,可以参考下面的论文。本文提出了一种新颖的审稿人-论文匹配方法,并已在AAAI2021、ICML2022、AAAI2022和IJCAI2022上(全部或部分)应用。论文地址:https://arxiv.org/abs/2202.12273最后,我只能说,目前看来,投稿的时候没有太多的工作可做。贡献者唯一能做的就是尽可能多地写一篇好文章,让他的论文成为NeurIPS实验曲线上最右边的小摩擦。
