当前位置: 首页 > 科技观察

一行代码,AI模型推理速度提升十倍!Reddit技术分享被群里嘲讽为“不要脸的自我推销”

时间:2023-03-13 12:18:58 科技观察

Reddit论坛经常会有各种AI技术的讨论。最近有网友分享了一个开源库。涨了10多倍!文章的标题是《如何轻松优化几乎没人知道的AI模型》。一切看起来都很正常,一个简单的技术分享贴,但是网友们并不买账,他们认为这是一种无耻的“自我营销”行为。Reddit甚至将讨论帖子标记为“无耻的自我宣传”。那么,这是纯粹的技术分享,还是煽情营销?技术分享也有错?博主在帖子中写道,现在你只需要添加几行代码,你的模型运行速度就可以提升10倍甚至更多,但你可能连怎么做都没有意识到。他总结了当前AI研究形势:AI应用如雨后春笋般快速增长,越来越多的人开始加入AI世界,而主持人也是AI大军中的一员。但问题是,开发人员只专注于人工智能、清洗数据和训练模型。几乎没有人具有硬件、编译器、计算、云等方面的背景。因此,开发人员花费大量时间来提高软件的准确性和性能,而所有这些都可能因硬件-软件的错误选择而化为泡影耦合。这个问题困扰了他很久,于是他和Nebuly的几位小伙伴(曾在MIT、ETH和EPFL工作过)投入了大量精力在一个名为nebullvm的开源库中,开发了一个库,让任何开发者都可以使用DL编译器技术,即使您对硬件一无所知。它的工作流程是通过测试多个DL编译器并选择最适合您的AI模型与您的机器(GPU、CPU等)-20倍的最佳编译器,将您的DL模型加速5倍。所有这一切只需几行代码即可完成。并且该库也开源了:https://github.com/nebuly-ai/nebullvm在收到网友的大量评论后,楼主在帖子中发表了声明。他说这个帖子是关于一个开源库的,自发布以来在GitHub上很受欢迎(仅第一天就有超过250颗星)。不幸的是,这篇文章被贴上了“无耻的自我推销”的标签,技术问题的答案被其他评论所掩盖。他敦促那些实际尝试过该库的人再次对此线程发表评论。评论帖文的网友们可能没有想到,这条技术分享帖并没有达到预期的效果,反而被广大网友“骂”上了热搜。网友高赞表示,Reddit能不能针对这种明显的自吹自擂的营销手段制定一些规则。并且还给出了一个规则的例子:AI很好,但是有了我们的[insertplatform/tool/libraryhere],它可以[1-10]x[better,faster,easier]。尽管我喜欢学习新图书馆,但我讨厌从营销人员那里了解它们。下面回复的一位网友也表示,太多科技媒体不懂技术,可能不知道在PyTorch中使用.cuda()可以直接将模型速度提升1000倍?并且怀疑前期的评论和点赞都是网购的喷子。更有直接的网友表示,这纯粹是垃圾邮件,也不知道这几天reddit怎么了。有网友还举了最近的另一篇帖子为例:虽然有931个赞,但好评评论几乎全是差评。整个项目只是一份备忘录,记录了我的朋友/我母亲认为我做了什么与我实际做了什么。对于管理层和投资者来说,这是一个美丽的画面。对于实际工作的人来说,这几乎毫无意义。大多数开发人员使用命令行和文本的原因是你有太多的数据要处理,而视觉效果更多的是障碍而不是帮助;还有其他人不同意:如果你考虑到这个subreddit上潜水的比例有多高,实际上并没有以ML为职业的人,并且有很多学生和软件工程师,或者对ML有个人兴趣的人这个话题,他们只是想通过盲目地认可这里的某些东西来感受“社区”的一部分,尽管公平地说,他们也并不真的倾向于拥有批评的必要经验。有网友说他知道这篇文章是广告,有点像“他们用错了工具告诉你有更好的方法”,但说实话,我没看到足够多的人做上面的事情工作。我看到更多的人在研究速度,或者如何修补代码,尽管这对于SLA来说不是必需的。分析性能并不需要很多工作,主要是因为许多从业者来自软件工程背景,他们认为他们唯一可以努力并取得进步的就是速度。也有网友对技术核心进行了讨论,认为这只是通过TensorRT(或其他现有的深度学习编译器)来运行模型,这个项目其实是“无中生有”。引起公愤的库根据GitHub库的Readme文件,nebullvm是一个All-in-one库,用户可以在一行代码中测试多个DL编译器,将DL模型的推理速度提高5-20次。该存储库包含开源nebullvm包,这是一个开源项目,旨在将所有开源AI编译器统一在一个易于使用的界面下。作者说他们设计了一些超级好用的东西:你只需要输入DL模型,你就会自动得到一个优化版本的模型,它针对目标硬件进行了优化。据作者所知,目前没有开源库可以结合市场上的各种DL编译器来找到最适合用户模型的编译器。他们相信这个库可以做出强大的贡献,使人工智能开发人员能够更轻松地提高模型的效率,而无需花费过多的时间。目前支持的框架包括PyTorch和Tensorflow,支持的DL编译器包括OpenVINO(Intel机器)、TensorRT(NvidiaGPU)和ApacheTVM。使用方法也很简单,先用pip安装。然后使用nebullvm导入torch或者tensorflow模型,以pyTorch为例,几行代码就可以完成优化。根据作者提供的信息和GitHubStar数来看,这个库还是靠谱的。Reddit网友可能是看到太多夸张的AI模型宣传了,纷纷发泄在作者身上,作者也表示自己的清白。科学就是“实事求是”,才能更好地发展。您是图书馆作者还是Reddit用户?

猜你喜欢