模型推理提升5-20倍。一行代码测试多个DL编译器。即使你不懂硬件也可以使用这个库。优化一个AI模型是多么容易，通过添加几行代码，模型的推理速度提高了5-20倍。该帖子由初创公司Nebuly的联合创始人兼首席运营官EmileCourthoud发布。Courthoud认为，目前的开发者虽然精通AI、数据集清洗和模型训练，但缺乏硬件、编译器、计算和云计算方面的知识。这导致开发人员花费大量时间来提高软件的性能，而没有意识到选择正确硬件的重要性。这个问题困扰了Courthoud很久了，于是他和Nebuly的几位朋友（都来自MIT、ETH和EPFL）倾力打造了一个名为nebullvm的开源库，该库涉及DL编译器技术，任何可访问的开发人员，甚至是那些对硬件一无所知的人，该库旨在将所有开源AI编译器统一在同一个易于使用的界面下。Nebullvm是如何工作的？总体而言，通过测试不同的DL（深度学习）编译器，为用户选择最好的，使得用户使用的AI模型与机器（CPU、GPU等）形成最佳耦合，而模型可以加速大约5-20倍，而且只需几行代码就可以完成。项目地址：https://github.com/nebuly-ai/nebullvmNebullvm项目介绍用户可以在以下情况下选择使用Nebullvm库。想要加快AI模型的响应时间；不想测试市场上所有的DL编译器，只想知道最适合您的特定应用程序的那个；喜欢简化复杂的问题，想知道几行代码中哪个DL编译器自己工作得最好等。项目作者设计了一些非常容易使用的东西：你只需输入DL模型，你就会得到一个最佳版本与硬件相匹配的型号。目前项目支持的框架包括PyTorch、TensorFlow，即将支持HuggingFace。支持的DL编译器包括OpenVINO、TensorRT、TVM，并将很快支持Rammer、MLIR。安装nebullvm，用户可以使用源码安装，使用git安装如下：gitclonehttps://github.com/nebuly-ai/nebullvm.git然后进入repo，使用pip安装nebullvm：cdnebullvmpipinstall.PyPi安装：安装nebullvm最简单的方法是使用pip，然后运行如下代码pipinstallnebullvm自动安装方法如下：该方法可以自动安装nebullvm支持的所有DL编译器。python-c"importnebullvm"但是，如果用户想避免自动安装，可以使用下面的方法：exportNO_COMPILER_INSTALLATION=1或者在命令行中添加：importosos.environ["NO_COMPILER_INSTALLATION"]="1"即可安装nebullvm后使用现在，以下代码显示了使用nebullvm优化pytorch模型的示例：>>>importtorch>>>importtorchvision.modelsasmodels>>>fromnebullvmimportoptimize_torch_model>>>model=models.efficientnet_b0()>>>bs,input_sizes=1,[(3,256,256)]>>>save_dir=".">>>optimized_model=optimized_torch_model(...model,batch_size=bs,input_sizes=input_sizes,save_dir=save_dir...)>>>x=torch.randn((bs,*input_sizes[0]))>>>res=优化模型（x）
