当前位置: 首页 > 科技观察

AI论文激增,拥有100,000+引用的ResNet是好是坏?这项研究有了结论

时间:2023-03-14 00:40:54 科技观察

一周前,计算机视觉领域的经典之作何毓明的ResNet论文被引用次数突破100,000+,距他投稿仅六年。这项工作的热度如此之高,不仅说明了ResNet本身已被证明的实力,也印证了AI领域尤其是计算机视觉的热度。然而,在ResNet高引用的背后,我们也看到了一个问题,那就是在计算机视觉领域每年产生如此之多的新论文的情况下,为什么研究者往往会选择它作为引用呢?高引用经典论文的趋势会给该领域带来进步还是停滞?新发表的论文是否有可能成为下一个经典?在最近发表在SCI期刊PNAS上的一篇论文《Slowed Canonical Progress in Large Fields of Science》中,来自西北大学和芝加哥大学的两位研究人员针对上述问题进行了调查。答案,并深入研究科学领域发表论文的数量、质量和引用之间错综复杂的联系。论文地址:https://www.pnas.org/content/pnas/118/41/e2021636118.full.pdf科学进步有一个很直接的观点,就是多多益善。一个领域发表的论文越多,科学进步的速度就越快;研究人员的数量越多,覆盖面越广。即使不是每篇论文都有重大影响,但它们都成为沙堆中的沙粒,增加了质变的可能性。在此过程中,科学格局被重新配置,结构化探究中出现了新的范式。更多论文的发表也增加了其中至少一篇包含重要创新的可能性。一个颠覆性的新想法可以改变现状,将注意力从以前的工作中转移开,并获得大量新的引用。这种越多越好的观点很好地反映在该领域的现行政策中。学者们根据他们的生产力得到评估和奖励,在一段时间内发表更多的文章是获得终身教职和职业发展的最可靠途径。数量仍然是比较大学和公司的基准,出版物、专利、科学家和资金的总数仍然位居前列。质量也主要通过数量来判断。引文衡量个人、团队和学术期刊在某个领域的重要性。在论文层面,通常认为最好和最有价值的论文会吸引更多关注,从而塑造该领域的研究轨迹。在其中,他们预测,当每年发表的论文数量非常多时,新论文的快速流动将迫使学术界将注意力集中在被广泛引用的论文上,从而减少对不太成熟的论文的关注,即使一些他们提出了新的、有用的和潜在的变革性想法。大量新发表论文的出现并没有引起领域范式的更快变化,反而强化了那些高被引论文,阻止了新的工作成为该领域被引用最多和广为人知的经典。研究人员通过实验分析检验了这些想法,表明科学机构对数量的关注可能会阻碍根本性的进步。随着每年出版的作品数量在各个领域不断增长,这种不利影响还会加剧。而且,鉴于在“出版至上”领域推动认知的根深蒂固、错综复杂的结构,这将是不可避免的。需要调整重组科学生产力价值链的政策措施,使公众重新关注有前途的新想法。这篇文章主要讲的是什么?本文主要关注领域规模的影响,即特定年份某个领域发表的论文数量。先前的研究发现,引文不平等在许多学科中都在加剧,至少??部分是受偏好驱动。然而,一篇论文往往无法保持过去几年的引用水平和排名。颠覆性论文可以取代以前的工作,引用次数的自然波动也会影响论文排名。因此,研究人员预测,当磁场变得足够大时,变化的动力就会发生变化。被引用次数最多的论文将变得根深蒂固,在未来获得不成比例的引用量。新论文如果不能通过偏好依附积累引用,就不可能成为经典。新发表的论文很少能对既定的学术枷锁产生影响。他们给出了支持上述预测的两种机制。一方面,当一个领域在短时间内发表多篇论文时,学者们不得不借助启发式方法来获得对该领域的持续理解。认知超载的审稿人和读者在阅读新论文时没有考虑其中的新思想,只是将它们与现有的示例论文联系起来。不符合现有模式的新想法很可能不会被发表、阅读或引用。面对这种变化的动力,论文作者不得不将他们的工作与知名论文紧密联系起来。这些著名的论文充当了“知识徽章”,定义了新工作应该如何被理解,阻止他们研究过于新颖且不易与现有经典联系起来的想法。结果,开创性的新想法被产生和发表并被广泛阅读的可能性降低,每发表一篇新论文都会不成比例地增加高被引论文的引用次数。另一方面,如果新想法来得太快,它们之间的竞争可能会阻止任何新想法在该领域广为人知和广泛接受。至于为什么?研究人员以在某一领域传播思想的沙堆模型为例进行解读。当沙子慢慢地落在沙堆上时,一次一粒,等到沙堆的运动停止后再撒下一粒。随着时间的推移,沙堆达到无鳞临界状态,在这种状态下,一粒沙子就能导致整个沙堆区域坍塌。但当沙子以极快的速度下落时,相邻的小崩塌会相互干扰,以至于任何一粒沙子都无法引发桩内位移。这意味着沙子下落的速度越快,每一粒新沙子所能影响的区域就越小。论文也是如此。如果论文出现得太快,任何新论文都不可能通过局部扩散和偏好依附而成为经典。这两条论据引出了六个预测,其中两个是被引用次数最多的论文的长期主导地位和新出版物的徒劳以及它们自身的颠覆性衰落。综上所述,当一个领域每年产生的论文多于一个领域每年产生的论文很少时,会出现以下六种情况:新论文更可能引用高被引论文而不是低被引论文;被引用次数最多的论文名单每年几乎不会变化,导致经典论文永远是那些;一篇新论文成为经典的概率会降低;;新发论文中发展既有科学思想的比例上升,颠覆既有思想的比例下降;新论文成为颠覆性工作的可能性降低。使用了哪些数据和方法?研究人员使用WebofScience数据集分析了1960年至2014年间发表的论文,共计90,637,277篇论文和1,821,810次引用,360。WebofScience将学术领域(或在某些情况下是大的子领域)划分为学科。因此,我们的分类法中共有241个学科,并将它们作为领域级分析的基础。其中,一篇焦点论文每年从同一主题的新发表论文中获得的引用次数构成了研究者感兴趣的主要变量。为了计算10个最大的非多学科学科的1-衰减率(λ),对于每个学科,研究人员将年份除以发表论文数量的10log,截断值为1、1.5、2、2.5、3,3.5,4,4.5,5和5.5,论文年份除以field-year中被引用次数最多的百分位数,分界点分别为1,2,3,…,100。对于每个(已发表论文的记录数)×(引用百分比),他们将第二年的论文引用回归到重点年份的论文引用。该回归的系数为1-λ。此外,为了计算所有学科的1-λ(如下图2D所示),研究人员选择了排名第1、2、5、10和25个百分位数的前100篇被引用次数最多的论文。他们根据已发表论文数量的基数10对数对学科年进行分类(截止值分别为1、1.5、2、2.5、3、3.5、4、4.5、5和5.5)。对于每个bin×选择的百分位数,研究人员将第二年的论文引用回归到重点年份的论文引用。该回归的系数为1–λ。这些预言得到证实了吗?研究人员的所有预测都在WebofScience数据集的引用模式中得到了证实,如下图1至图4所示。随着该领域越来越多,被引用次数最多的论文总是占主导地位,在被引频次分布中占据绝对优势。相比之下,新论文不太可能被高度引用,也不太可能随着时间的推移积累关注。发表的论文倾向于发展现有的想法而不是破坏它们,并且很少产生开创性的新研究潮流。具体来说,被引用次数最多的论文在更大的领域中获得了不成比例的更高引用份额。最大领域引用份额的基尼系数约为0.5,如下图1A所示。高被引论文的不成比例的引用次数反过来又导致了不平等问题的加剧。例如,当电气和电子工程领域每年发表约10,000篇论文时,前0.1%和前1%的高被引论文分别占总被引次数的1.5%和8.6%。当该领域每年发表50,000篇论文时,前0.1%和前1%的高被引论文分别占总引用量的3.5%和11.9%。当领域更大,每年发表10万篇论文时,高被引前0.1%和前1%的论文分别占总被引次数的5.7%和16.7%。相比之下,被引用最少的论文中排名靠后的50%的论文在总引用次数中所占的比例从每年10,000篇的43.7%下降到每年50,000篇和100,000篇。刚刚超过20%。当跨时间查看领域数据时,我们看到当每年发表的论文数量很高时,前50名被引用最多的论文之间的排名相关性增加的模式(图1B)。在随后的几年中,一个领域中引用次数最多的前50名列表的Spearman排名相关性从1,000篇出版物的0.25增加到100,000篇出版物的0.74。图1当领域广泛时,被引用次数最多的论文的引用量逐年增加,而其他所有论文的引用量都在下降。下图2显示了当年与上一年的预测引用比率。在发表论文较少的年份,高被引论文的比例明显低于1,与低被引论文的比例相差不大。但在发表论文数量较多的年份,被引用最多的论文比例接近于1,明显高于被引用较少的论文。在非常大的领域年,发表了大约100,000篇论文,平均而言,被引用次数最多的论文的引用次数并没有逐年下降。相比之下,排名前1%之外的论文平均每年损失约17%的引用,而排名前5%及以下的论文每年平均损失25%的引用。图2.当同一领域同时发表多篇论文时,单篇论文被引用次数达到前0.1%的可能性降低。这种现象适用于同一年份的不同领域,也适用于不同年份的同一领域,如图3A所示。一般来说,较大领域的论文被引用最多,很少通过局部扩散等过程被引用。图3B显示了一篇文章进入相关领域的平均时间(以年为单位),条件是该论文成为该领域被引用次数最多的论文之一。当一个领域很小时,论文会随着时间慢慢上升到引用次数最多的前0.1%。我们以1980年小领域(回归预测)发表的一篇论文为例。如果同一领域发表1000篇论文,平均需要9年才能成为被引用次数最多的论文。相比之下,最大领域的经典论文迅速升至引用榜首,这与学者通过阅读他人著作中引用的参考文献发现新著作的累积过程不一致。同样的回归预测,在一个每年发表100,000篇论文的大领域中,论文平均在不到一年的时间内达到前0.1%的引用率。图3中同一年发表的大多数论文都是基于而不是破坏现有文献(图4A)。逻辑拟合预测,当该领域每年发表1,000篇论文时,49%的论文的中断度量D>0(相反,51%D<0)。发表10,000篇论文时,中断指标比例下降到27%,发表100,000篇论文时下降到13%。即使当D>0时,新发表论文的中断度量在更大的领域中也会减弱。图4B显示了按领域年份在中断指标中排名前5个百分点的新论文的比例。Lowess估计表明,具有前5个百分位中断指标的新论文的比例从该领域每年1,000篇论文时的8.8%下降到每年10,000篇论文时的3.6%和每年100,000篇论文时的0.6%。图4