大数据文摘lambdalabs出品：张秋月深度学习模型越来越强大，但也占用了更多的内存空间，但很多GPU没有足够的VRAM来训练它们。那么如果要进入深度学习，什么样的GPU最合适呢？下面列出一些适合深度学习模型训练的GPU，横向比较。让我们来看看！太长了截至2020年2月，以下GPU可以训练所有现代语言和图像模型：RTX8000：48GBVRAM，约5,500美元RTX6000：24GBVRAM，约4,000美元TitanRTX：24GBVRAM，约2,500美元GPU可以训练大多数（但不是所有）型号：RTX2080Ti：11GBVRAM，~1150美元GTX1080Ti：11GBVRAM，~800美元翻新RTX2080：8GBVRAM，~720美元RTX2070：8GBVRAM，~500美元以下的GPU不适合训练电流型号：RTX2060：6GBVRAM，约359美元。在这个GPU上训练需要比较小的batchsize，模型的分布逼近会受到影响，模型精度可能会更低。图像模型内存不足前的最大批量大小：*表示GPU没有足够的内存来运行模型。性能（每秒处理的图像）：*表示GPU没有足够的内存来运行模型。语言模型内存不足前的最大批量大小：*表示GPU没有足够的内存来运行模型。性能：*GPU没有足够的内存来运行模型。使用QuadroRTX8000结果标准化后的性能图像模型：语言模型结论语言模型受益于比图像模型更大的GPU内存。请注意，右侧的曲线比左侧的曲线陡峭。这表明语言模型更受内存大小的限制，而图像模型更受计算能力的限制。具有更大VRAM的GPU具有更好的性能，因为使用更大的批次大小有助于使CUDA内核饱和。具有更高VRAM的GPU可以按比例增加批量大小。任何只懂小学数学的人都知道这是有道理的：具有24GBVRAM的GPU可以容纳比具有8GBVRAM的GPU大3倍的批次。与其他模型相比，长序列语言模型的内存密集度不成比例，因为注意力在序列长度上是二次方的。GPU购买建议RTX2060(6GB)：您想在业余时间探索深度学习。RTX2070或2080(8GB)：您认真对待深度学习，但GPU预算只有600-800美元。8GB的VRAM适用于大多数型号。RTX2080Ti(11GB)：您认真对待深度学习并且您的GPU预算约为1,200美元。RTX2080Ti比RTX2080快约40%。TitanRTX和QuadroRTX6000(24GB)：您广泛使用现代型号，但没有购买RTX8000的预算。QuadroRTX8000(48GB）：要么你想投资未来，要么你正在寻找2020年最新最伟大的模型。带注释的图像模型：语言模型：相关报告：https://lambdalabs.com/blog/choosing-a-gpu-for-deep-learning/DataDigest(id:BigDataDigest)》]戳这里阅读更多本作者好文
