OpenAI最近调查分析了不同时期最先进的AI实验所消耗的计算量。结果发现，与6年前相比，AI训练所需的计算量增加了30倍，相当于每3.5个月翻一番。这种指数级的增长速度是惊人的，但考虑到硬件投入、功耗支出等费用（比如目前最大的AI实验AlphaGoZero的训练成本估计为1000万美元），这还能持续多久？趋势继续？?RyanCarey通过分析得出结论，不会超过3.5-10年。但即使这种趋势持续这么久，AI也可以突破实现通用人工智能(AGI)所需的一些计算。我们知道，过去几年的人工智能实验使用的计算能力比以前大得多。不过，就在上个月，OpenAI进行的一项调查提供了一些关于这将发生多快的初步估计。通过将AlphaGoZero与AlexNet进行比较，他们发现现在最大的实验比6年前最大的实验大30万倍。在此期间，一流实验的规模每年呈指数级增长，每3.5个月翻一番。在这个人工智能计算趋势中，实验的增长速度快得惊人，值得分析。本文将探讨两个问题。首先是如果试炼的规模还这么快速增长的话，很快就会变得负担不起，所以这种趋势会逐渐结束。除非经济完全重塑，否则这种趋势最多只能持续3.5到10年，具体取决于支出水平和计算成本的变化情况。第二个问题是，如果这种趋势再持续3.5年，用于AI实验的计算量将跨越一些有趣的里程碑。特别是，与使用尖峰神经元模拟人脑18年的思考所需的计算量相比，单个实验使用的计算量更多。总的来说，如果给定一个同样有效的算法，我们可以说这种趋势将超过实现成人智能所需的水平。在第(1)和(2)节中，我相应地探讨了这些问题，在第(3)节中，我讨论了该分析的局限性，并权衡了这项工作将如何影响AGI的预测。纵轴：AI训练所需的计算量，以千亿次浮点运算为单位1.这种AI计算趋势能持续多久？要弄清楚这种AI计算趋势在经济上能持续多久，我们需要知道三两件事：试用成本的增长率、当前试用的成本以及未来试用可以承受的最大支出.最大型的试验规模每3.5个月翻一番（大约一个数量级，或每年翻10倍。时间计算=LOG(10,2)*3.5/12=0.9689年，约1年），每计算单元的成本大约每4-12年下降一个数量级（长期趋势是成本每4年提高10倍，而最近的趋势是每12年成本提高10倍）。因此，全面试验的成本每1.1-1.4年增加一个数量级。迄今为止最大的试验是AlphaGoZero，可能耗资1000万美元。当然，试验的规模有多大取决于运行它的人。最富有的玩家可能是美国政府。此前，美国将GDP的1%用于曼哈顿计划，而在阿波罗计划实施过程中，美国将GDP的约0.5%投资于NASA。那么我们假设类似的AI实验支出可以占GDP的1%，即2000亿美元。假设一个数量级增长所需的时间是1.1-1.4年，初始测试规模是1000万美元，那么根据AI计算趋势预测，我们将在5年内看到2000亿美元成本的测试。-6年。然后，鉴于未来（美国）的经济形势与现在类似，那么这将是人工智能计算趋势的终结。我们还可以考虑在没有政府介入的情况下，这种趋势还能持续多久。鉴于民营企业规模较小，它们将更快地达到经济门槛。其中最大的是科技公司：亚马逊和谷歌目前每年的研发预算约为200亿美元，因此我们可以假设政府以外最大的独立实验为200亿美元。那么私营部门跟上AI计算趋势的时间大约是政府的3/4，也就是大约3.5到4.5年。另一方面，特定硬件的发展也可能使计算成本降低，从而导致趋势持续更长时间。如果一些新的硬件让计算成本降低1000倍，突破摩尔成本效益定律，那么这个经济门槛还能维持的久一点，大概3-4年。为了让人工智能计算的趋势真正持续很长时间（超过10年），经济产出必须每年增长一个数量级。这确实是一种非常极端的情况，但也不是没有可能。重点是看一些极其强大的人工智能技术能否带来大规模的经济效益。当然，重要的是要清楚这些数字是上限，因此不排除AI计算趋势会更快停止的可能性（比如如果AI研究被证明不如预期经济），要么突然停止还是慢慢的。总结：AI计算的高速发展是不可持续的，基本无法超过3.5到10年。2、AI计算的趋势何时可能突破AGI相关的里程碑？可以得出的第二个结论是，如果AI计算的趋势继续以目前的速度发展，它将突破一些有趣的里程碑。如果AI计算趋势持续3.5-10年，第一类实验的规模有望达到10^7-5×10^13Petaflop（千万亿次浮点数）/天，那么这个水平之间的问题是什么可以实现里程碑。哪些里程碑可能有助于AGI的发展仍然是一个争论的话题，但这里有3个候选者：模拟人类大脑在童年时期所需的计算量模拟模拟人类大脑玩围棋到Alphago所需的游戏数量零成为超人的计算量。模拟人脑进化所需的计算量。人类儿童的里程碑对于创建人工智能所需的计算量的自然猜测是人脑使用的计算量。假设AI具有（相对于人类）：学习执行不同任务的相似高效算法（每个任务具有不同的计算和数据）足够细粒度的大脑智力表现。人工智能应该能够解决与18岁的人类似范围的问题。模拟大脑一秒钟所需的每秒浮点运算次数有很多估计值。AIImpact收集的数据中位数为1018FLOPS（由Hodgkin-HasleyHodgkin-Huxley方程模拟），范围从3×10^13FLOPS（Moravec的估计）到1×10^25FLOPS（模拟代谢物之间）。运行这样的模拟18年相当于700万Petaflops。（范围在200-7×10^13Petaflop/s之间）。那么按照最短的估算，比如莫拉维克的估算，我们的计算已经足够超过人类儿童的里程碑了。根据中值估计和Hodgkin-Huxley估计，我们将在3.5年内达到里程碑。AlphaGo零游戏里程碑对人类儿童里程碑的一个反对意见是，人工智能系统目前的学习速度比人类慢（“慢学习者”）。AlphaGoZero花了250万局围棋才成为超人，这意味着如果一场比赛需要1个小时，那么它需要300年的围棋比赛。我们可能会问，像人脑这样复杂的东西需要多长时间才能运作300年而不是18年。答案：要达到这个里程碑，这个趋势必须在达到人类儿童里程碑之后再持续14个月。大脑进化里程碑一个更保守的里程碑是模拟所有神经进化所需的计算量。Shulman和Bostrom在2012年引入的一种方法是查看模拟神经系统进化的成本。这需要模拟10^25个神经元超过10亿年的进化。Shulman和Bostrom估计模拟一个神经元1秒的代价是1-10^10次浮点运算，这样模拟进化的总代价是3×10^21-3×10^31Petaflop/天。这个计算量太大了，远不是AI计算趋势结束的时候能达到的。因此，人工智能计算的趋势并没有改变舒尔曼和博斯特罗姆得出的结论，即我们距离能够模拟地球上大脑的进化还很遥远——即使支出能够快速增长，这个计算里程碑需要摩尔定律发展数十倍年才能实现。总的来说，我们可以看到，虽然大脑进化的里程碑远远超出了AI计算趋势的范围，但其他的则不然。按照其中一些估计的标准——尤其是代谢组估计——人类儿童和AlphaGoZero游戏里程碑也不会达到。但如果AI计算趋势在未来几年继续下去，人类的孩子和AlphaGoZero游戏里程碑将会实现。3.讨论与局限根据这一分析，很自然地提出一个合理的问题：我们应该关注哪个里程碑来预测AGI？这个问题的不确定性太大了，但是我觉得AGI比大脑进化里程碑更容易，但是那种AGI可以在AlphaGoZero游戏里程碑达到之前或者之后实现。最重要的是，Silver假设大脑进化里程碑的算法发现过程必须由AI本身执行。但在我看来，人类设计师更有可能提供合适的算法（或其中大部分），而无需计算成本（或与模拟进化的成本相比微不足道）。第二点，相对于AlphaGoZero游戏里程碑评估AGI的难度有点复杂。有人认为AlphaGoZero游戏里程碑让AGI看起来太简单了，但我们必须考虑到教机器通用智能比教机器下围棋需要更多的训练示例。为了执行各种各样的任务，有必要考虑更广泛的依赖关系并理解从操作到实用程序的更复杂的映射。这件事可以进一步探讨——通过比较各种已解决的AI问题的样本性能，然后根据通用智能有多复杂来推断AGI的样本性能。然而，AlphaGoZero游戏里程碑可能让事情变得太困难也是有原因的。首先，AlphaGoZero没有使用任何AGI系统可能需要的先验知识。如果我们看原始的AlphaGo，它需要的回合数应该比AlphaGoZero少一个数量级，更一般的学习任务可能会进一步提高性能。其次，通过模拟人脑，可能存在一个到多个数量级的内在保守性。根据当前的硬件配置，模拟人脑执行其计算功能可能效率很低：也就是说，可能仅使用所需计算的一小部分来模拟人脑。因此很难判断达到AlphaGoZero里程碑对于AGI来说是太早还是太晚。还有一个原因更可以肯定，AGI的实现可能还需要6年以上。我们只需要看看人工智能计算趋势并问问自己：AGI与AlphaGoZero是否像AlphaGoZero与AlexNet（编者注：AlexNet诞生于2012年）一样接近？如果大于第二对的差值，那么我们应该认为AGI6年是达不到的。总之，我们可以看到AI计算趋势是一个极高速的发展趋势，快到3.5到10年经济力量（假设GDP没有大幅增长）都跟不上。但即使再持续几年，这个趋势的发展速度也足够快，可以通过一些似乎等同于AGI需求的计算里程碑。其中就有利用霍奇金赫胥黎神经元模拟人脑思考18年所需的计算量。然而，在经济因素使AI计算趋势结束之前，其他里程碑将不会实现。假设这里的分析表明我们没有足够的计算能力来模拟（至少）几十年的人脑进化。
