当前位置: 首页 > 科技观察

PyTorch1.8正式支持AMD,炼金不需要NVIDIA

时间:2023-03-15 16:56:03 科技观察

本文经AI新媒体量子比特(公众号ID:QbitAI)授权转载,转载请联系出处。在1.8版本中,官方终于加入了对AMDROCm的支持,无需配置Docker即可轻松运行在原生环境。AMDROCm仅支持Linux操作系统1.8版收集了自2020年10月发布1.7以来的3000多个GitHubcommit。此外,本次更新还有很多亮点:优化代码,更新编译器Python内函数转换,增强分布式培训、新的移动教程和新性能检测工具的演示。与TorchCSPRNG、TorchVision、TorchText和TorchAudio相关的库也将随之更新。需要注意的是,从1.6开始,Pytorch的新特性将分为三个版本:Stable、Beta和Prototype。其中,Prototype不会包含在stablerelease中,需要从Nightly版本编译。Python到Python函数转换新的Beta特性torch.fx可以实现Python到Python函数转换,可以轻松添加到任何工作流中。新API,向NumPy学习!1.7版本新增的beta功能torch.fft已成为正式功能。在Numpy中实现了类似np.fft的快速傅里叶变换,并增加了硬件加速支持和自动求导,更好地支持科学计算。还添加了NumPy风格的线性代数模块torch.linalg的测试版,支持Cholesky分解、行列式、特征值等功能。增强的分布式训练增加了稳定的异步错误和超时处理,增加了NCCL的可靠性。新增Beta版流水线并行功能*(PipelineParallelism)*,可以将数据拆解成更小的块,提高并行计算效率。使用4个GPU的PipelineParallelism的工作图添加了Beta版本的DDP通信钩子来控制如何在worker之间同步梯度。此外,Prototype版本还有一些新的分布式训练特性。ZeroRedundancyOptimizer:用于减少所有参与进程的内存占用。ProcessGroupNCCLSend/Recv:允许用户在Python而不是C++上执行设置操作。CUDA-supportinRPCusingTensorPipe:提高N卡多卡操作的效率。远程模块:让用户像操作本地模块一样操作远程模块。移动端新教程随本次更新发布了图像分割模型DeepLabV3的Android和IOS详细教程。以及Android和IOS上的图像分割、目标检测、神经机器翻译等演示程序,让大家更快上手。还有PyTorchMobileLiteInterpreter解释器,它可以减少运行时文件的大小。Beta版Benchmarkutils已加入性能检测工具,方便用户进行准确的性能测试。以及FXGraphModeQuantization的Prototype版本,实现了量化过程的自动化。