2022年,PyTorch将占据80%的顶级AI会议,成为研究人员和产业工作者的新宠。2018年底,Google推出了全新的JAX框架,其受欢迎程度一直在稳步上升。很多研究者对它寄予厚望,希望它能够替代TensorFlow等众多深度学习框架。但是,PyTorch和TensorFlow仍然是ML框架领域的两大玩家,其他新兴框架的力量暂时无法匹敌。然而,PyTorch和TensorFlow之间存在着权衡取舍的关系,力量对比也在悄然发生着变化。2019年10月,康奈尔大学本科生、PyTorch团队实习生HoraceHe统计了PyTorch和TensorFlow在学术界的使用情况。结果表明,研究人员大量涌向PyTorch,但在当时看来,业界的首选仍然是TensorFlow。如下图所示,从2019年年中开始,PyTorch在顶级会议的使用指标上已经超越了TensorFlow。资料收集时间:2019年10月。当时,开发者社区进行了一场热烈的讨论:未来,谁能迎来ML框架之战的“高光时刻”?两年后,HoraceHe再次给出了更新后的统计结果。截至目前,PyTorch在EMNLP、ACL、ICLR三大顶级会议中的占比均超过80%,而这一比例在其他会议中也保持在70%以上。短短两年时间,TensorFlow的生存空间明显缩水。PyTorch在学术界的“反超”,具体到每一届顶级会议。作者还在图表中展示了详细的数据:以CVPR为例,在CVPR2018之前,TensorFlow的使用率仍然高于PyTorch,而在接下来的一年里,情况将立即逆转。PyTorch在CVPR2019的使用率为22.72%(294篇),TensorFlow的使用率为11.44%(148篇);到CVPR2020,这两个数字分别变成了28.49%(418篇)和7.7%(113篇)。篇)。在ICML、ICLR、NeurIPS等会议上,依旧是同样的竞争局面:PyTorch当之无愧,TensorFlow不断下滑。在ICLR2022中,PyTorch的使用率为32.20%(1091篇),TensorFlow则跌至6.14%(208篇),差距扩大了五倍。TensorFlow在学术界有前途吗?那么,一直处于观望状态的TensorFlow是如何走到今天这一步的呢?在Hackrnews社区,这个话题引发了开发者的热烈讨论:“在学术出版中,你可以将你的工作与SOTA进行比较是关键。如果你所在领域的其他人都在使用某种框架,那么你也应该使用。Pytorch有是过去几年我最常遵循的框架。”“但Tensorflow的亮点之一是静态图。随着模型变得越来越密集并且需要不同的部分并行执行,我们看到在PyTorch中运行模型的一些挑战。”按照这位开发者的说法,如果要并行做很多事情,Tensorflow还是有一些其他产品无法比拟的特性。这完全取决于你在做什么。还有人说,Tensorflow的没落是因为战略失误。“我认为Tensorflow在学术界做了一个糟糕的举动,因为它在早期版本中很难使用。当然,它的性能永远会比PyTorch更好,但是当你是一个工作量很大的博士生时,你就不太关心“你的代码有没有效率,更关心的是你的代码能不能运行。有人说PyTorch比较容易调试,所以那些早期的模型都是用PyTorch发布的,后来很多人都来了PyTorch。”你怎么认为?
