当前位置: 首页 > 科技观察

美国教授揭发AI顶会作弊:作者串通审稿人,垃圾论文也能过审

时间:2023-03-22 11:32:54 科技观察

美国教授曝顶尖AI会作弊:作者串通审稿人,垃圾论文也能审美国知名AI学术专家在ACM官网发文,指出最尖锐的人工智能学术界的难题:盲目审稿,严重作弊。措辞之严厉,披露之详实,在学界实属罕见。让这位人工智能大师再也无法保持沉默的,是佛罗里达大学一名华人博士生被迫作弊后自杀的事件。为什么AI大牛不能忍?首先,我们来认识一下这位学术大牛。关注AI学术会议并不陌生,2013年AAAI联合项目主席、布朗大学计算机科学系教授MichaelL.Littman。研究领域涵盖机器学习、博弈论、计算机网络、马尔可夫决策过程等,在强化学习方面取得丰硕成果。2018年,Littman因其在人工智能顺序决策算法的设计和分析方面的贡献而被选为ACM院士。这位AI圈风云人物,在ACM官方期刊Communications发表的最新文章中,揭露了AI学术圈审稿中的严重作弊行为。利特曼解释说,他写这篇文章的直接动机是一名中国博士被迫自杀。事件的起因是一篇名为《3D-based video recognition acceleration by leveraging temporal locality》的ISCA论文。目前在读的中国博士生是一名作家。在他的遗书和与他人的通信记录中,他指责他的中国导师强迫他进行学术造假。随后,导师通过私交让论文通过审稿,并威胁该学生不得撤稿,否则就“杀了他”。最终,这位同学在博士毕业时选择了结束自己的生命。快毕业了。此前,量子比特对此有过详细报道。今年2月,ACM官方也发布了查处结果,对涉案人员进行了严惩。利特曼教授在文章中没有点名,只是在文末附上了这一轰动中美学术界的事件和涉案人的博客链接。利特曼认为,日益严重的“评审作弊”问题正在危及计算机科学成果的产生和传播。并希望通过揭露类似行为的幕后操作,呼吁社会向学术界的“黑帮”施压。同时,也希望能帮助“解救”被迫卷入集体学术造假的研究生。利特曼教授对自杀的中国博士生表示遗憾和悲痛。他表示“宁愿自杀也不愿参与内外勾结的学术不端行为”。显然,利特曼教授对于这个“肿瘤”是如何出现的,又是如何运作的,有着比较直观的考察和认识。“同行评审”,如何作弊?为什么垃圾论文能通过同行评审?利特曼根据自己参加和组织学术会议的经历总结了论文同行评审的一般流程。同行评审过程由一个项目委员会进行,该委员会由一到两名项目主席、数百名项目主席和大约5,000名评审员组成。审稿人必须提前声明利益冲突,这样委员会就不会指派他们审阅可能损害公正性的论文。作者以匿名方式提交论文以供盲审。合格的审稿人根据论文标题/摘要对特定的论文提交进行“投标”。论文最终由项目主席分配。接下来,审稿人阅读论文并提交评论。交换意见后,给出接受或拒绝的建议。区域主席和项目主席使用这些建议来制定会议的具体议程计划。通常,接受率较低(15%-25%)。在大多数顶级会议中,每年一次。因此,论文被拒(尤其是对研究生而言)会对未来的工作前景产生重大影响。因此,有人转而尝试提高通过率。如何获取骗子的“朋友圈”?Littman提到了一个具体案例,ACM的一位项目主席发现了一条线索,并花了很多时间调查和分析,但仍然没有说出它的名字。一般来说,一个团队事先串通起来,把论文的数据结论等弄虚作假,然后再把论文投到会议上。然后,“有能力”的作者会拉拢熟悉的审稿人,公开论文题目和作者信息。当然,参与审稿的审稿人不会报出自己的兴趣,而是“竞价”审稿目标论文,有时甚至会多注册几个账号,以增加中标的机会。审稿人会对这些论文写出非常积极的评论,甚至可能会通过私人渠道游说项目主席,将他拖下水。另外,如果这个“称职的论文作者”不小心发现了其他审稿人的名字,他可能会发邮件,威胁利诱,一一拉。当审稿人在垃圾论文上“泼水”时,他们会在讨论过程中在会议管理系统中临时更改姓名,以“保”名誉和羽毛。鉴于许多会议对接受的论文数量有限制,这种内部操纵可能意味着一篇本来有价值的论文被拒绝了。会议质量不可避免地会受到影响。未来我们应该做什么?我还是不知道。2019年悲剧发生后,经过20个月的调查,今年2月,ACM做出了史上最严厉的处罚:15年内,事件最严重者不得在ACM相关期刊上发表所有学术成果.不得担任审稿人、编辑或项目委员会。被控自杀的博士生导师和佛罗里达大学均未发表声明。前段时间,网上流传一封辞职信,称涉事导师已从佛罗里达大学辞职,但真实性无法考证。但目前仅此而已。如何完善AISummit的审核机制,如何设置预防和调查手段,包括ACM和IEEE在内的机构目前还没有明确的制度或相关议程可以公布。利特曼教授在文中表示,他希望用自己的声音呼吁社会对学术界的违法行为施压,这在当下也是“没办法”。不过ACM官方发表这篇文章似乎表明它已经意识到了问题的严重性。目前学界只能拭目以待。