从谷歌的AI设计芯片，我们看到了“智能”的本质深度强化学习技术利用AI的力量来协调计算机芯片内不同组件的布局。研究人员设法使用强化学习技术设计了下一代张量处理单元，即谷歌引以为豪的专用人工智能处理器。在芯片设计中使用软件并不新鲜，但谷歌研究人员表示，新的强化学习模型可以“自动生成芯片布局图，其结果以关键指标（包括功耗、性能和芯片面积等）来衡量。）。”)等同于甚至优于人类给出的芯片布局方案。”更重要的是，它的设计周期比人类的工作时间要短得多。事实上，人工智能在很多领域所表现出的强于人类的智能水平已经引起了各方的关注。有媒体将其描述为“可以比人类更快地设计计算机芯片的AI软件”，并称“谷歌的新AI可以设计出一组人类工程师需要几个月才能在6小时内完成的任务”。芯片设计。”另一份报告称，“人工智能技术在人工智能设计芯片领域的宏伟愿景才刚刚开始。”但是看完这篇论文，真正让我印象深刻的并不是负责设计计算机的那套计算机芯片。AI系统的极致复杂，却是人与AI和谐高效的协同。类比、直觉和奖励本文将要解决的问题描述为：“芯片布局规划过程，包括将网表放置在芯片画布（二维网格）上，优化性能指标（例如功率、时序、面积和线长度），同时遵守严格的密度约束和路由拥塞约束。”基本上，这项任务的核心是将芯片元件以最佳方式放置。然而，与其他经典问题一样，随着芯片元件数量的不断增加，找到最佳设计变得越来越困难。现有软件有助于加快发现芯片布局，但如果目标芯片的复杂度太高，传统的软件解决方案显然不能满足需求。研究人员决定借鉴无数强化学习解决其他复杂空间问题的例子，发现围棋AI似乎有潜力在这方面。“芯片布局规划与围棋非常相似，有单独的棋子（例如，网表拓扑、宏计数、宏尺寸和纵横比）、棋盘（不同的画布尺寸和纵横比）和获胜条件（例如相对密度和路由拥塞限制等不同评估指标的重要性）。“芯片设计需要使用人类智能中最重要和最复杂的元素之一——类比。我们人类可以从我们过去解决过的问题中提取抽象经验，并将这些经验应用到新问题中。虽然我们这种能力的使用可以说微妙流畅，但其本身却极其重要，甚至可以说是实现迁移学习的前提。正因如此，研究者可以将芯片布局问题重新定义为棋盘游戏，并求解和其他科学家一样，下棋攻克设计难题。深度强化学习模型特别擅长搜索如此巨大的空间，而人脑的计算能力水平无法在物理上实现这样的处理。然而，芯片设计面临的难题科学家们在难度方面有所不同。比围棋高出几个数量级。研究人员写道，“当一个由1,000个节点组成的集群被放置在一个由1,00个节点组成的网格上时0格，它的状态空间是千次方量级（大于10的2500次方），而围棋的状态空间只有360的10次方。“真正需要设计的芯片往往由数百万个节点组成，最后他们用人工神经网络来解决复杂的问题。人工神经网络可以将芯片设计编码成向量表示，大大减少了对问题的探索空间。困难。根据该论文，“我们有一种直觉，即能够执行常规芯片放置任务的策略也应该能够在推理过程中将新的看不见的芯片相关状态编码为有意义的信号。因此，我们训练神经网络能够为新的网表位置预测奖励的网络架构，最终目标是将该架构用作策略中的编码器层。”许多朋友认为“直觉”不可靠，但有一个非常复杂且鲜为人知的过程直觉背后，涉及经验、无意识知识、模式识别等。从其他学科中汲取灵感。幸运的是，在高性能计算和机器学习工具的帮助下，检验直觉判断变得越来越容易。另外值得注意的是，强化学习系统需要一个设计良好的奖励机制。事实上，一些科学家认为，只要设置正确的奖励函数，强化学习甚至足以实现通用人工智能（AGI）。如果没有正确的奖励，强化学习代理可能会陷入无限循环，重复愚蠢和毫无意义的尝试。在下面的视频中，你可以看到一个强化学习代理参加了一场赛艇锦标赛，为了追逐高分，却放弃了赢得比赛这个真正重要的目标。Google科学家们决定将平面规划系统的奖励设计为“代理线路长度、拥塞和密度的负加权和。“这里的权重是一个超参数，在强化学习模型的开发和训练过程中必须进行调整。有了正确的奖励，强化学习模型可以利用其计算能力找到各种方法来设计最大化奖励的平面布局。图.curateddataset系统中使用的深度神经网络是通过监督学习开发的。监督机器学习需要在训练过程中使用标记数据来调整模型参数。Google科学家创建了“一组由10,000个芯片组件放置的提案的数据集”，其中输入信息与给定的放置方法保持相关，标签是该放置方法的奖励。“为了避免手动创建布局方案，研究人员不仅使用了人工设计图，还在数据集中使用了大量计算机生成的数据。该论文没有详细说明其中包含多少算法生成的示例。评估训练数据集是由人类生成的。工程师设计，但可以肯定的是，如果没有高质量的训练数据，监督学习模型最终只会给出较差的推理结论。从这个意义上说，芯片设计人工智能系统与其他人工智能系统有很大不同强化学习程序——以AlphaZero为例，它能够在完全没有人为干预的情况下开发强大的围棋游戏策略。但在未来，研究人员可能会开发一种新的强化学习代理，有望自主设计平面图，无需任何人工干预。supervisedlearningelements.但我个人猜测，考虑到设计工作的高复杂度，此类问题的解决可能还是需要uire是人类直觉、机器学习和高性能计算的强强结合。强化学习设计和人类设计谷歌研究人员的探索带来了各种有趣的结论，其中最大的亮点是芯片的实际布局。我们人类将使用各种捷径来克服我们大脑的物理限制。包含大量复杂元素的“硬骨头”，我们不能一下子嚼碎。但人脑会将整个复杂系统模块化、分层分解，一步步克服挑战。而这种自上而下进行架构考虑和设计的能力无疑将在负责解决极其复杂问题的系统中发挥重要作用。这里我们再看一个软件工程的例子，这是我（作者）自己的专业领域。当然，理论上我们可以编写整个程序。但是软件开发人员从不以这种方式编程。我们只从代码片段、函数、类、模块一步一步构建软件结果，并通过定义良好的接口连接各个组件。基于此，我们将分阶段的结果嵌套到一个更大的系统中，逐渐构建一个组件化的、层次化的架构，这样我们就不需要阅读程序的每一行来理解它是如何工作的。模块化机制使得多个程序员可以同时开发同一个程序，原程序中的组件也可以被更多的后续程序使用。有时候，只看程序中的类结构就足以帮助我们找到正确的bug定位路径或者正确的升级添加位置。正因为如此，我们常常愿意牺牲速度来换取更高水平的模块化和更高的设计质量。同样的准则也适用于计算机芯片设计。人工设计的芯片，不同模块之间往往有明确的界限。另一方面，谷歌强化学习代理设计的平面图可以从中找到阻力最小的路径，不再受人脑思维能力的限制。我很好奇这种AI辅助设计模式会不会成为未来的新趋势甚至常态。换句话说，机器学习生成的高度优化的解决方案需要妥协，以便它们更好地匹配人类工程师强加的自上而下的考虑。AI+人类智能正如谷歌强化学习芯片设计者所言，AI软硬件创新的探索，仍然离不开人类提供的抽象思维、问题定位、解决方案直觉、验证数据选择等。也就是说，AI芯片可以不断增强这些技能，但很难完全替代。归根结底，我认为这次发布并不意味着“AI胜过人类”、“AI可以创造更聪明的AI”或“AI正在递归地自我强化”。更准确地说，主体仍然是人类——人类正在寻找可行的方法，将人工智能作为一种前所未有的强大工具，来克服自身的认知局限，扩展自身的能力。如果这样的良性循环真的能够发展成熟，相信计算机芯片设计将成为AI与人类携手合作的理想场景。
