当前位置: 首页 > 科技观察

PyTorch霸占学术论文,TensorFlow仅占4%,LeCun:还有什么?

时间:2023-03-12 22:44:34 科技观察

本文经AI新媒体量子比特(公众号ID:QbitAI)授权转载,转载请联系出处。“对于Python,为什么TensorFlow正在慢慢消亡?”这篇尖锐的文章一出,就被LeCun的转发推上了风口浪尖:不然呢,当然是因为PyTorch。紧接着,“PyTorch和TensorFlow谁更好?”这场旷日持久的争论再次被掀起,网友们也??开始在文章中寻找共鸣或反驳。一些TensorFlow的深度用户出面表示:现在我已经切换到PyTorch了。但也有尝试过几种框架的网友表示:TensorFlow和Keras更方便快速实验,TensorFlow似乎对AppleM1GPU的支持更好。当然,也有一些独特的声音:JAX不是比这两个框架好很多吗?那么,文章作者究竟是如何得出这个结论的呢?《PyTorch统治学术论文》一文的作者AriJoury是法国索邦大学粒子物理学博士生,但对将AI和机器学习方法应用于粒子物理探索感兴趣。作为一名Python爱好者,她在接触这两个框架时就注意到了它们之间的区别。好奇目前哪个框架受到更多关注,她在StackOverflow上对Keras、TensorFlow、PyTorch这三大主流框架进行了统计:简单来说,TensorFlow受到更多关注,Keras停滞甚至衰退,PyTorch停滞甚至衰退谢绝了。起步较晚,但近两年来,关注度呈稳步上升趋势。(但也有网友认为,文章中使用StackOverflow数据作为论据,根本不能算是统计框架的“流行度”,只能证明这些框架的“混乱程度”。)致爱好者,TensorFlow的关注度会持续下降”?AriJoury给出了几个原因。首先,PyTorch使用起来“更Pythonic”。AriJoury表示,她用Python编写TensorFlow框架的工作量可能是PyTorch的两倍,而且后者在编写代码时感觉比TensorFlow更自然。其次,PyTorch的可用模型更多,更适合学生和研究人员使用。据统计,在HuggingFace中,85%的大型模型框架都是用PyTorch实现的。其余框架中,除了多框架实现外,只有8%的大模型框架是通过TensorFlow实现的。这意味着PyTorch更受AI大模型研究人员的欢迎。越来越多的人使用PyTorch来实现论文的研究框架,而不仅仅是大型模型。PaperswithCode网站的统计数据也证实了这一观点。在那些开源代码的研究论文中,仅从框架使用的角度来看,PyTorch的比例在过去四年里一直在急剧上升。PyTorch从一开始就与TensorFlow并驾齐驱,现在已经远远超过TensorFlow,成为使用率第一的框架(占比62%)。相比之下,TensorFlow仅占4%。三是PyTorch生态发展较快。虽然目前TensorFlow在生态系统中的发展优于PyTorch,但从PyTorch使用量的增长情况来看,这种趋势将在不久的将来发生逆转。当然,TensorFlow本身也有一些不可替代的优势,比如更容易部署(有很多类似TensorFlowServing和TensorFlowLite的工具),更好地支持其他语言。毕竟对于JavaScript、Java、C++、Julia、Rust等语言,TensorFlow还是更好的选择。PyTorch基本上以Python为中心。即使有C++API,但对其他语言的整体支持还是不如TensorFlow。因此,AriJoury最后认为,这两个框架的选择很大程度上取决于用户对Python的偏好。那么,那些AI专家是如何站队的呢?AI专家选择哪些框架?除了一直是PyTorch深度支持者的YannLeCun(毕竟是Meta的一员),不少AI专家也对自己比较看好的框架发表了看法。至少在几年前TensorFlow推出2.0的时候,“TF2.0和PyTorch谁更好”的话题就已经开始了。当时,Kaggle前总裁兼首席科学家、fast.ai创始人JeremyHoward更看好PyTorch框架。Keras的创始人Fran?oisChollet在认为PyTorch会走下坡路的时候,就在这个话题上投票给了TensorFlow。至少到了2020年,他的观点还是一样:“如果你是PyTorch的粉丝,我的工作与你无关。”但现在,PyTorch仍然保持活跃状态??。你更喜欢哪个深度学习框架?