炼金术速度x7！你的Mac电脑也可以在PyTorch训练中用GPU加速长期以来，Pytorch只支持CPU在Mac上进行训练。刚刚，Pytorch官方宣布其最新版本v1.12可以支持GPU加速。任何带有M1系列芯片的Mac都可以。这也意味着在Mac上使用Pytorch“炼金”会更加方便！训练速度可提高约7倍。此功能由Pytorch与Apple的Metal工程团队合作推出。它使用Apple的MetalPerformanceShaders(MPS)作为PyTorch的后端来启用GPU加速训练。为了优化计算性能，MPS还针对MetalGPU系列的独特特性对每个内核进行微调。Metal是一个类似于OpenGL的框架，只不过OpenGL适用于各种平台的移动GPU渲染和计算，而Metal专用于iOS/MacOS平台，但它也兼顾了性能和易用性。MPS是一套基于Metal框架的库，可以直接调用利用GPU的高性能进行图形处理和构建卷积神经网络。苹果官方在配备M1Ultra、20核CPU、64核GPU、128GBRAM和2TBSSD的MacStudio上进行了测试。（这个阵容几乎可以算是豪华配置了）。他们训练了批量大小为128的ResNet50、批量大小为64的HuggingFaceBERT和批量大小为64的VGG16。从下图我们可以看出，相比使用CPU加速，使用GPU可以将模型训练速度提升约7倍，评估速度最多可提升约20倍。看到这里，一些网友开始好奇它与配备英伟达GPU的笔记本电脑相比表现如何。有人表示，虽然目前M1的原始计算性能不如Nvidia的产品，但功耗也不错。未来，苹果很有可能在性能上慢慢追上。总的来说，MacStudio现在看起来非常好。他进一步解释说：“毕竟，它是4,800美元就能买到的最便宜的机器，它包括128GB的??GPU内存。现在有了GPU加速的PyTorch支持，它可以用来训练大型模型和配置大批量大小。对于我做的那种DL工作，数据加载比实际的原始计算能力更可能成为瓶颈。《心动了吗？马上试试？只要确保你的macOS操作系统是12.3及以上版本，并且安装了arm64原生Python，然后去官网下载最新的Pytorch预览版即可。地址：https://pytorch.org/blog/introducing-accelerated-pytorch-training-on-mac/
