编辑|杰克智东西讯 5月17日，昨天，OpenAI发布了一份名为《AI与计算》的分析报告。
今年以来，AI训练任务所使用的算力每3.43个月翻一番，这个数字大大超过了芯片行业长期存在的摩尔定律（芯片性能每18-24个月翻一番）。
自2007年以来，AI算力增长超过100%（而按照摩尔定律的速度，只会增长12倍）。
硬件算力的提升一直是AI快速发展的重要因素。
因此，OpenAI表示，如果想让目前的发展趋势持续下去，我们需要做好开发远远超出当前算力的新系统的准备。
OpenAI是一家成立于2016年的人工智能非营利组织，由以埃隆·马斯克为首的多位硅谷大亨共同创立，致力于推动人工智能的积极作用，避免人工智能带来的问题。
以下是 OpenAI 分析报告的一些要点。
1、为什么要从算力的角度看待人工智能的发展？人工智能的发展有三大驱动力：算法、数据、算力。
算法是否有创新发展很难量化和追踪，庞大的数据量也很难计算。
然而，计算能力是可以量化的，这为我们提供了探索AI发展过程的机会。
OpenAI认为，虽然大量算力的使用暴露了当前AI算法效率不够的问题，但重要的技术突破仍然必须在足够算力的基础上实现。
因此，从算力的角度审视人工智能的发展是合理的。
在计算能力的分析中，OpenAI认为，决定性的数字不是单个CPU的速度，也不是数据中心的最大容量，而是训练单个模型所需的计算能力——这个值很可能代表了计算能力的强大程度。
当前最好的算法是。
基于模型计算出的算力需求与总算力有很大差异，因为并行计算（硬件和算法）的限制使得模型不可能太大，训练效率也不会太高。
OpenAI发现，当前算力发展的趋势是每年增长约10倍。
实现这种增长的部分原因是更专业的硬件（例如 GPU 和 TPU）允许芯片每秒执行更多的操作，但主要是因为研究人员不断寻找更好的并行计算方法，并花费了大量资金来实现这一目标。
2. OpenAI如何衡量算力？ AI深度学习模型需要大量的时间和计算能力。
如果有足够的信息，则可以估计已知训练结果的总计算能力需求。
在这份分析报告中，OpenAI使用petaflop/s-day（pfs-day）作为计算能力的计量单位。
一个单位 petaflop/s-day (pfs-day) 表示一天内每秒执行 10^15 次，总共大约 10^20 次神经网络操作（操作）。
这种测量方法类似于电能的千瓦时。
OpenAI 并不测量硬件 FLOPS 的理论峰值数，而是尝试估计实际执行的操作数。
无论数值精度如何，OpenAI 都会将任何加法或乘法视为单个运算，而忽略集成模型。
根据OpenAI的计算，目前每个算力的翻倍时间为3.43个月。
3、算力发展的时期特征。
OpenAI在分析报告中给出了两张图表，显示了几种最知名的AI机器学习模型以petaflop/s-day为单位的总计算量，即所需的计算能力。
力量。
（几个最知名的AI机器学习模型以petaflop/s-day为单位的计算量总量就是所需的算力。
）从图表中我们可以发现，AI算力的发展分为四个时期。
年前：使用GPU进行机器学习并不常见，因此此时，图中所示的最小计算能力很难实现。
年复一年：使用许多 GPU 进行模型训练基础设施的情况并不常见。
在此期间，使用1-8个速度为1-2TFLOPS的GPU进行训练，可以达到0.0.1 pfs-days的算力水平。
逐年：大规模模型训练通常使用10个速度为5-10 TFLOPS的GPU，可以达到0.0.1 pfs-days的算力水平。
这一时期的数据表明，降低数据并行性的回报值会带来回报递减，这意味着更大规模的模型训练的价值是有限的。
逐年：由于可以大规模并行化算法的方法（例如更大的批量大小、架构搜索和专家迭代）的出现以及专用硬件（例如 TPU 和更快的网络）的使用，计算能力大大超出了计算能力连接）限制，特别是对于某些型号。
AlphaGo Zero 和 AlphaZero 是大规模算法并行化的熟悉例子，但许多其他类似规模的应用现在在算法层面都是可行的，并且可能已经在使用中。
4、算力将继续快速发展，需未雨绸缪。
OpenAI认为，人类算力需求每3.43个月就会翻一番，每年增长约10倍，而且这种发展趋势还将持续下去。
许多初创公司正在开发人工智能专用芯片，一些公司声称他们将在未来一两年内大幅提高芯片的计算能力。
这样，人们只需重新配置硬件，就可以以更少的经济成本获得强大的计算能力。
在并行性方面，最近出现的很多新算法原则上也可以组合，比如架构搜索和大规模并行SGD。
另一方面，并??行化算法的发展将受到经济成本的限制，芯片效率的发展将受到物理限制的限制。
OpenAI认为，尽管如今用于训练最大AI模型的硬件仅单件硬件的采购成本就高达数百万美元（虽然已摊销，但成本要低得多）。
但如今的神经网络计算的主要部分仍然在于推理阶段而不是模型训练阶段，这意味着企业可以改装或购买更多芯片用于模型训练。
因此，如果有足够的经济基础，我们甚至可以看到更大规模的并行训练，让这种趋势持续几年。
全球每年硬件总体预算为1万亿美元。
可见，并行算法开发的经济成本极限还远没有达到。
OpenAI认为，过去的趋势不足以预测这种趋势会持续多久以及如果持续下去会发生什么。
然而，即使算力增长的潜力目前在我们的掌控之中，我们今天也必须为远远超出当前算力的新系统的开发做好准备，并开始警惕人工智能的安全问题和恶意使用。
这种远见对于负责任的政策制定和负责任的技术开发都至关重要，我们必须走在这些趋势的前面，而不是对它们漠不关心。