清华大学研发出全球首款异构融合类脑计算芯片——“天机”，由该芯片驱动的“无人自行车”登上最新一期《自然》杂志封面！该研究由清华大学类脑计算研究中心石路平教授团队依托精密仪器系开展，展示了一款由新型人工智能芯片驱动的自动驾驶自行车。基于这一研究成果，论文《TowardsartificialgeneralintelligencewithhybridTianjicchiparchitecture》（TowardsartificialgeneralintelligencewithhybridTianjicchiparchitecture）作为封面文章登上了8月1日的《自然》（Nature），实现了中国的♂芯片和人工智能两大领域论文零突破。天机芯片5x5阵列扩展板现阶段人工智能的发展主要有两种方法：一种是基于神经科学，尽可能模拟人脑；另一种是面向计算机科学的，让计算机运行机器学习算法。两者各有优缺点，两者融合是目前公认的最佳方案之一。开发融合两者的计算平台将是推动融合的关键。新芯片融合了两条技术路线。这种融合技术有望增强各种系统的能力，促进人工智能的研究和发展。这种名为天机的混合芯片具有多个高度可重构的功能内核，可以同时支持机器学习算法和现有的类脑计算算法。研究人员通过自动驾驶自行车系统展示了混合芯片的处理能力。这是一个异构、可扩展的人工智能开发示范平台。采用天机芯片，演示自行车的自平衡、动态感知、目标检测、跟踪、自动避障、越障、语音理解、自主决策等功能。测试中，无人自行车不仅可以识别语音指令，实现自平衡控制，还可以检测跟踪前方行人，自动避障。S型路线跟踪语音控制“左转”语音控制“直行加速”自主避障施路平教授表示，这只是一个非常初步的研究，但这项研究可能对人工智能的进一步发展起到一定作用计算平台增强。接下来，新智元带来了对这一突破性研究的详细解读以及对石路平团队的采访。“天机”：支持计算机科学与类脑计算融合的AGI之路一般认为，实现通用人工智能（AGI）有两种途径：面向计算机科学和面向神经科学。由于这两条路径在思路、理念和实施方案上存在根本差异，依赖于不同的开发平台，互不兼容，给AGI技术的发展造成了很大的障碍。迫切需要一个支持这两种方法的通用平台。石路平团队研发的“天机芯片”（Tianjicchip）就实现了这一点，可以为AGI技术提供一个混合协同的开发平台。天机芯片及测试板天机芯片采用众核架构、可重构功能核心模块和一类混合编码方案的数据流控制模式，既能适应基于计算机科学的机器学习算法，又能轻松实现神经网络启发通过大脑计算模型和多种编码方案的原理。天机异构融合类脑计算架构，仅需一颗芯片即可同时处理无人自行车系统中的多种算法和模型，实现实时目标检测、跟踪、语音控制、避障和平衡控制。该研究有望为开发更通用的硬件平台开辟新路径，推动AGI技术的发展。鉴于目前机器学习和神经科学的进展，AGI系统至少应该具备以下特点：能够支持神经网络表达丰富的空间、时间和时空关系。支持分层、多粒度、多域的网络拓扑结构，不局限于特定的网络结构。支持各种模型、算法和编码方案。支持多个专门的神经网络的交错协作，这些神经网络可以设计用于并行处理不同的任务。这些功能需要在通用平台上高效运行，即能够在统一框架中支持主流人工神经网络(ANN)和受神经科学启发的模型和算法。图1：AGI开发的混合路线为了支持这些功能，该团队开发了一个跨范式计算平台，可以容纳面向计算机科学和神经科学的神经网络（图1），兼容各种神经模型和算法，尤其是生物学基于（例如脉冲神经网络或SNN）的元素。一般来说，ANN和SNN在信息表示、计算原理和内存组织方面具有不同的建模方法（如图2a所示）。两者之间最大的区别是ANN以精确的多位值处理信息，而SNN使用二进制脉冲序列。ANN神经元和SNN神经元的实现比较如图2b所示。另一方面，ANN和SNN神经元之间也存在一些相似性，这为模型之间的融合留下了空间。通过对ANN和SNN的神经网络模型进行详细比较，将计算模型解析并映射到相关的神经元功能模块——即轴突、突触、树突和细胞体，从而构建跨范式的统一神经元解（如图图2c)。该团队设计了适应这两种协议的突触和树突，而轴突和胞体则进行独立重塑以改变功能。图2天机芯片设计示意图图2d是一个完整的单功能核心（FCore）的示意图，包括轴突、突触、树突、细胞体和路由部分。为了实现深度融合，几乎整个FCore都可以重新配置，以实现不同模式下的高利用率。FCore能够涵盖大多数ANN和SNN使用的线性积分和非线性变换操作。如图2e和2f所示，该芯片上的FCores排列在二维2D网格中。天机芯片及其后端布局如图3a所示。该芯片由156个FCore组成，包含大约40,000个神经元和1000万个突触。天机芯片采用28nm半导体工艺制造，面积为3.8x3.8平方毫米。每个独立模块占用的芯片面积，包括轴突、电流、信号、路由器、控制器和其他芯片开销，如图3b所示。由于资源可以重复利用，兼容SNN和ANN模式的面积仅占总面积的3%左右。FCore的功耗明细如图3c所示。图3芯片评估及建模总结示意图天机可支持多种神经网络模型，包括基于神经科学的网络（如SNN、仿生神经网络）和基于计算机科学的网络（如MLP、CNN、和RNN等等）。图3d为在天机芯片上测试不同网络模型和通用处理单元的测试结果。如图3e所示，具有树突中继的混合神经网络可以突破传统神经形态芯片Fanin/fanout的限制，避免SNN网络的精度损失（+11.5%）。采用这种混合模式所增加的额外开销可以忽略不计，因为Tianjic自然可以在FCore中实现异构转换。也可以使用Tianjic探索更具生物学意义的认知模型（如图3f所示）。语音控制，自动避障，这款无人自行车很漂亮为了证明构建类脑跨范式智能系统的可行性，团队利用无人自行车开发了一个异构、可扩展的人工智能通用智能开发展示平台，在aTianjic在芯片上并行部署和运行多个私有网络。实验中的自行车配备了多种算法和模型，能够执行实时目标检测、跟踪、语音命令识别、加速、减速、避障、控制平衡和决策等任务（图4a）。为了完成这些任务，自动自行车演示平台需要克服三个主要挑战：首先，在室外自然环境中成功检测并平滑跟踪移动物体、穿越减速带和自动避障。其次，需要生成实时电机控制信号以响应平衡控制、语音命令和视觉感知，以保持自行车沿正确方向行驶。三是实现各类信息的综合处理和快速决策。图4：基于天机芯片多模型集成平台的自动驾驶自行车的各种测试结果为了完成这些任务，团队开发了几种神经网络，包括用于图像处理和目标检测的CNN，以及用于人体目标跟踪的CANN，一个用于语音命令识别的SNN，一个用于姿态平衡和方向控制的MLP，以及一个用于决策控制的混合网络。由于芯片的去中心化架构和任意路由拓扑结构，天机芯片平台可以实现所有神经网络模型的并行运行，实现多个模型之间的无缝通信，使单车能够顺利完成这些任务。图4c显示了响应不同语音命令的输出信号。图4d显示了自行车在跟踪、避障和“S”曲线行驶过程中的输出控制信号。图4e显示了基于物理指标在不同速度下学习车辆姿态和转向控制。天机芯片可以同时支持基于计算机科学的机器学习算法和基于神经科学的生物模型，可以自由融合各种神经网络和混合编码方案，实现包括SNN和ANN在内的多种网络之间的无缝通信。总之，本文介绍了一种用于类脑计算的新型芯片架构，该架构通过将跨范式模型和算法集成到单个平台上来实现灵活性和可扩展性。希望这一研究成果能够加速AGI的发展，促进新的实际应用的发展。七年修炼“天机”，自行车是五脏俱全的类脑计算平台。对于本研究中大家比较关心的几个问题，清华大学精密仪器系教授石路平、清华大学精密仪器系副研究员裴静、博士后邓磊美国加州大学圣巴巴拉分校研究员代表研究团队接受媒体采访。Q：研究中遇到的最大挑战是什么？石路平：我们从2012年开始酝酿这个研究，遇到了很多挑战，但我们认为最大的挑战不是来自科学或技术，而是学科分布不利于我们解决这样一个问题，所以我们相信多学科的深度融合是解决这一问题的关键。因此，在这项研究中，我们组建了一个由七个部门组成的多学科团队，组成类脑计算研究中心，涵盖脑科学、计算机、微电子、电子学、精密仪器、自动化、材料等。在此，感谢清华大学领导对交叉学科建设的大力支持，这是本项目成功的关键。邓雷：在芯片方面，最大的挑战是如何实现深度高效集成。我强调两点：第一，是深度和效率。目前流行的神经网络模型有两种，一种来自计算机科学，一种来自脑科学。这两个模型的语言有很大的不同。它们的计算原理不同，信号编码方式不同，应用场景不同，因此它们所需要的计算架构和存储架构也大不相同。甚至设计优化目标也大不相同。从目前我们能看到的一些深度学习加速器和一些神经形态芯片就可以看出这一点。他们基本上都有独立的设计体系。由此可见，深度融合并不简单。并不是说先设计一个深度学习加速模块，再设计一个神经形态模块，再把它们放在一起就可以了。怎么比呢，因为真实的应用是复杂多变的，这样效率不高。第二，如果构建异构混合模型，可能需要在两个模块之间有一个专用的信号转换单元，这会产生很多额外的成本，那么如何设计一个芯片架构来兼容这两种模型，又能灵活配置，具有高性能，这也是我们芯片设计的一个挑战。Q：为什么会选择无人自行车作为切入点？石路平：自行车是我们的筹码。当时我们经过反复深入的讨论，并没有确定开发什么样的应用平台来展示我们异构集成的新功能。我们有四个考虑：第一，我们希望这是一个多模态的系统，有点类似于大脑，而不是像现在的一些AI那样做算法，只做一个单一的应用。我们希望这是一个完整的涵盖感知决策和执行的环节，这样可以为我们多模型的异构融合提供支持，所以这和单一模型是不一样的。第二，我们希望这个也能和真实环境交互，而不是在机房做实验，或者在电脑上做一套模拟。我们希望它是一个真实的环境交互。第三，我们希望这个系统最好对我们的处理芯片有功耗和实时性的要求，这样才能体现出我们专用芯片的优势。第四，因为我们要做反复的实验，我们希望这个系统是可控的，可扩展的。综合考虑以上几点，我们最终选择了无人自行车平台，它具有语音识别、目标检测与跟踪、运动控制、避障、自主决策等功能。所以它虽然看起来很小，但实际上是一个五脏六腑齐备的小型类脑计算平台。Q：类脑能否超越人脑？石路平：大家对类脑技术能否超越人脑很感兴趣。其实这和大家一直在问计算机如何超越人脑是一样的。计算机早已超越人脑，只是在哪些方面。我们现在都认为天才有我们现在拥有的那些惊人的能力，但其实现在的计算机很容易实现，比如记得快，记得准，算得快，算得准等等。在这些方面，非常对计算机很重要。是儿科。但在很多智能层面，尤其是在不确定性问题上，比如学习、自主决策等很多领域，计算机和人脑之间还有相当大的距离。电脑会逐渐缩小差距。至于最后能不能完全超越人脑，我个人认为技术方面会越来越多，因为计算机的发展有一个特点，就是永不退步，一直往前走。但我相信我们人类是有智慧的，我们会在发展的过程中逐渐提高对研究领域的认识来控制它的风险，因为我相信人们之所以关注这个问题，是因为我们担心它是否会像科幻电影里说的那样毁灭人类。其实我们早就造出了可以毁灭人类的东西，那就是核武器，但是为什么现在还没有毁灭人类呢？因为我们拥有它，所以我们可以控制它。对于类脑计算、强人工智能、通用人工智能等，我们认为人类可以利用好我们的智能来规范它的发展路径，使它造福于我们人类，最大程度地规避这些风险。论文合作单位包括北京灵犀科技有限公司、北京师范大学、新加坡科技设计大学、美国加州大学圣巴巴拉分校。论文地址：https://www.nature.com/articles/s41586-019-1424-8
