在做机器学习项目时，尤其是在处理深度学习和神经网络时，最好使用GPU而不是CPU进行处理，因为即使是非常基础的GPU也会胜过CPU.但是您应该购买哪种GPU？本文将总结要考虑的相关因素，以便您可以根据您的预算和特定建模要求做出明智的选择。为什么GPU比CPU更适合机器学习？CPU（CentralProcessingUnit）是计算机的主力军，它非常灵活，不仅需要处理来自各种程序和硬件的指令，而且对处理速度也有一定的要求。为了在这种多任务环境中表现出色，CPU具有少量灵活且快速的处理单元（也称为内核）。GPU（图形处理单元）GPU在多任务处理方面并不灵活。但是它可以并行执行很多复杂的数学计算。这是通过拥有更多数量的简单内核（数千到数万）来实现的，这些内核可以同时处理许多简单的计算。并行执行多个计算的要求非常适合：图形渲染——移动的图形对象需要不断地计算它们的轨迹，这需要大量重复的并行数学计算。机器和深度学习-可由GPU并行处理的大规模矩阵/张量计算。任何类型的数学计算都可以拆分以并行运行。CPU和GPU之间的主要区别已经在Nvidia自己的博客上进行了总结：TensorProcessingUnits(TPUs)随着人工智能和机器/深度学习的发展，现在出现了更多专门的处理核心，称为张量核心（Tensorcores）。它们在执行张量/矩阵计算时更快、更高效。因为我们在机器/深度学习中处理的数据类型是张量。虽然有专用的TPU，但一些最新的GPU也包含许多张量核心，我们将在后面进行总结。NvidiavsAMD这将是一个相当短的部分，因为这个问题的答案肯定是Nvidia虽然可以使用AMD的gpus进行机器/深度学习，但在撰写本文时Nvidia的GPU更兼容并且通常更好地集成到工具中，例如TensorFlow和PyTorch（例如，PyTorch的AMDGPU支持仅在Linux上可用）。使用AMDGPU需要使用额外的工具（ROCm），这将需要一些额外的工作，而且版本可能不会很快更新。这种情况将来可能会有所改善，但就目前而言，Nvidia是您最好的选择。GPU选择的关键属性选择足以胜任机器学习任务并符合预算的GPU基本上归结为四个主要因素的平衡：GPU有多少内存？GPU有多少个CUDA和/或张量核心？该卡采用什么芯片架构？如果有的话，电源要求是什么？下面对这些领域中的每一个进行了探讨，希望能让您更好地了解什么对您来说是重要的。GPU内存答案是，越多越好！这真的取决于你的任务，以及这些模型有多大。例如，如果您正在处理图像、视频或音频，那么根据定义，您将处理相当大量的数据，而GPURAM将是一个非常重要的考虑因素。总有办法解决内存不足的问题（例如，减少批量大小）。但这会浪费训练时间，因此需要很好地平衡。根据经验，我的建议如下：4GB：我认为这是绝对的最小值，只要你不处理过于复杂的模型，或者大图像、视频或音频，这在大多数情况下都可以，但不是最高到日常使用的需要。如果您刚刚起步并且想尝试而不想全力以赴，请从8GB开始：这是日常学习的良好开端，并且可以在不超过RAM限制的情况下完成大多数任务，但在使用更多时很有用图像、视频或音频模型会遇到复杂的问题。12GB：我觉得这是科研最基本的要求。可以处理大多数较大的模型，甚至是那些处理图像、视频或音频的模型。12GB+：越多越好，您将能够处理更大的数据集和更大的批处理大小。超过12GB是价格真正开始上涨的地方。一般来说，如果成本相同，最好选择具有更多RAM的“较慢”卡。请记住，GPU的优势是高吞吐量，这在很大程度上依赖于可用的RAM来通过GPU传输数据。CUDAcores和Tensorcores这个其实很简单，越多越好。首先考虑RAM，然后是CUDA。对于机器/深度学习，张量核心比CUDA核心更好（更快、更高效）。这是因为它们是专门为机器/深度学习领域所需的计算而设计的。但这并不重要，因为CUDA内核已经足够快了。如果你能得到一张包含Tensor核心的卡，那是一个很好的加分点，只是不要太在意它。后面会看到很多人提到“CUDA”，所以先总结一下：CUDAcores——这些是显卡上的物理处理器，一般有几千个，4090已经有16000个了。CUDA11-数字可能会改变，但这是指为使显卡正常运行而安装的软件/驱动程序。NV定期发布新版本，它可以像任何其他软件一样安装和更新。CUDA代数（或计算能力）-这描述了图形卡在其较新版本中的代号。这是固定在硬件中的，因此只能通过升级到新卡来更改。它通过数字和代号来区分。示例：3.x[开普勒]、5.x[麦克斯韦]、6.x[帕斯卡]、7.x[图灵]和8.x（安培）。芯片架构这实际上比你想象的更重要。我们这里不讨论AMD，我眼里只有“老黄”。上面我们已经说过，30系卡是Ampere架构，最新的40系卡是AdaLovelace。一般老黄都会用著名的科学家和数学家来给建筑命名。这一次，他选择了英国著名诗人拜伦的女儿、建立循环和子程序概念的女数学家、计算机程序的创始人艾达·洛夫莱斯。要了解卡的计算能力，我们需要了解2个方面：重要的功能改进这里的一个重要特征是，混合精度训练：使用精度低于32位浮点数的数字格式有很多好处。首先，它们需要更少的内存，从而能够训练和部署更大的神经网络。其次，它们需要更少的内存带宽，从而加快数据传输操作。第三个数学运算运行速度更快但精度降低，尤其是在具有TensorCore的GPU上。混合精度训练实现了所有这些好处，同时确保与全精度训练相比不会损失特定于任务的准确性。它通过识别需要完全精度的步骤并仅对这些步骤使用32位浮点而在其他任何地方使用16位浮点来实现这一点。这里是Nvidia官方文档，有兴趣的可以看看：https://docs.nvidia.com/deeplearning/performance/mixed-precision-training/index.html如果你的GPU是7.x（图灵)或更高的架构，可以使用混合精度训练。也就是说，台式机上的RTX20系列或更高版本，或服务器上的“T”或“A”系列。混合精度训练具有这样的优势的主要原因是它减少了RAM的使用。TensorCore的GPU将加速混合精度训练。如果不是，使用FP16也会节省显存，可以训练更大的batchsizes，间接提高训练速度。它会被弃用吗？如果您对RAM的需求特别高，但没有足够的现金购买高端卡，您可能会在二手市场上购买较旧的GPU。这有一个很大的缺点......卡的寿命结束了。一个典型的例子是TeslaK80，它有4992个CUDA内核和24GBRAM。2014年，它的零售价约为7,000美元。现在的价格从150美元到170美元不等！（咸鱼600-700左右）这么小的价格，这么大的内存，你肯定心动了。但这有一个非常大的问题。K80的计算架构是3.7（Kepler），从CUDA11开始不支持（目前CUDA版本是11.7）。这意味着该卡不再有效，这就是它卖得这么便宜的原因。所以在选择2手卡的时候，一定要查看是否支持最新版本的驱动和CUDA，这一点最重要。高端游戏卡VS工作站/服务器卡老黄基本上把卡分为两部分。消费类显卡和工作站/服务器显卡（即专业显卡）。两者之间存在明显差异，对于相同规格（RAM、CUDA内核、架构），消费类显卡通常更便宜。但是专业的卡一般质量比较好，能耗也比较低（其实涡轮的噪音挺大的，放在机房还好，放在家里或者机房就有点吵了）实验室）。高端（非常昂贵）的专业卡，您可能会注意到它们有很多RAM（例如RTXA6000有48GB，A100有80GB！）。这是因为它们通常直接针对3D建模、渲染和机器/深度学习专业市场，这些市场需要高水平的RAM。还是那句话，有钱就买A100吧！（H100是A100的更新版本，暂不提供评测）但我个人认为，对于消费者来说，我们还是会选择高端游戏卡，因为如果你不缺钱，你就不会也不好。会读这篇文章，正确选择建议所以最后我有一些基于预算和需求的建议。我将其分为三个部分：低预算中等预算高预算高预算不要考虑高端消费显卡以外的任何东西。还是那句话有钱了：A100，H100就买吧。本文将包括在二手市场上购买的卡。这主要是因为我认为二手是低预算的考虑因素。专业桌面系列卡（T600、A2000和A4000）也包括在这里，因为一些规格比同类消费卡略差，但功耗明显更好。低预算中等预算高预算在线/云服务如果您认为支付显卡费用不适合您，您可以利用GoogleColab免费使用GPU。但它是有时间限制的，如果你用GPU的时间太长，他们就会把你踢出去，然后再回到CPU上。如果GPU处于非活动状态的时间过长（可能是在您编写代码时），它还会使GPU恢复。GPU也是自动分配的，所以你不能选择你想要的确切GPU（你也可以以每月9.90美元的价格获得ColabPro，我个人认为这比低预算要好得多，但需要一个梯子，49.99美元的ColabPro+有点价格昂贵，不推荐）。在撰写本文时，可通过Colab使用以下GPU：前面也提到，K80具有24GBRAM和4992个CUDA内核，基本上是将两张K40卡拼接在一起。这意味着当您在Colab中使用K80时，您实际上可以访问一半的卡，因此只有12GB和2496个CUDA内核。综上所述，4090还是处于耍猴的状态。基本上要抢购或者加价找黄牛，不过16384CUDA+24GB，对比3090的10496CUDA，真的是太香了。而408016G9728CUDA如果能在7000以内定价，应该是一个性价比很高的选择。12G的4080就别想了，名不副实。AMD的7900XTX应该也是不错的选择，但是兼容性是个大问题。如果有人测试，请留言。40系老黄一直在玩猴子，不急的话再等一会：你不买我不买，明天再降200
