本文转载自雷锋网，如有疑问请转载。如需转载，请到雷锋网官网申请授权。近十年来，以深度神经网络为代表的人工智能技术深刻影响着人类社会。然而，深度神经网络的发展已进入瓶颈期，我们仍处于弱人工智能时代。如何更近一步，跨入强人工智能领域，牵动着每一位智能研究者的心。算法改进是强人工智能的一个方向，类脑硬件设计是人工智能的另一个方向。情报研究如何从硬件层面的人脑研究中获益？随着我国类脑计算的深入，越来越多的学者开始拷问这个问题。2020年4月25日，在未来论坛青年创业联盟线上学术研讨会上，开展了以AI+脑科学为主题的研讨。共有六位嘉宾分别从BrainScienceforAI和AIforBrainScience两个不同的角度发表了演讲，进行了前沿探讨。其中，来自清华大学的吴华强先生做了题为“Brain-InspiredIntegrationofStorageandComputingTechnology”的报告。吴教授在报告中介绍：在思考未来计算时，量子计算和光计算从物理学中寻找答案，而类脑计算和存储计算一体化从生物学中寻找答案，即从大脑中寻找答案。目前，吴先生正在研究一种新型芯片上的电子突触器件，以及一种集成存储和计算的架构。在新器件方面，主要研究的是忆阻器，其特点是多位、非易失性，即去电后电阻值仍能保持，速度很快。此外，吴老师还提到，存储计算一体化计算结构设计的芯片已经与树莓派的28nmCPU进行了对比。在精度相当的情况下，前者跑完10000张图片需要3秒，而后者还是59秒。吴华强，清华大学微纳电子学系教授，清华大学微纳电子学系副主任，清华大学微纳加工平台主任，北京未来高精尖创新中心副主任芯片技术。吴华强：我的报告将从硬件挑战、研究进展和展望三个方面介绍类脑记忆计算集成技术。人工智能无处不在，从云端到我们的手机。不同的人工智能应用对芯片的要求不同。例如，数据中心和自动驾驶汽车需要极高的计算能力，而智能传感器网络、物联网和手机则希望消耗更少的能源，追求高能效。不同应用对芯片的不同需求，给了芯片领域很多机会。人工智能的三大发展浪潮也都与硬件计算能力有关。从第一个神经网络Perceptron网络AI开始到1970年代的低谷，一个很重要的因素是虽然有很好的理论模型，但是没有足够的计算能力。后来专家系统出现，第二波又涨了。这时候，很多人把计算机做成专门用于人工智能的。与此同时，摩尔定律迅速推动了芯片的发展，通用计算机的性能迅速上升，专业计算机能做的事情通用计算机也能做到，于是逐渐占领了市场，第二次浪潮还在继续。第三次浪潮，提出深度神经网络使用GPU加速网络训练，GPU成为AI的主要训练平台。随着计算能力的提高，网络规模迅速扩大。AlphaGoZero需要5000个TPU训练40天才能成为地表最强围棋手，这还是需要不少时间。因此，人工智能的广泛应用需要硬件能力的创新来支撑人工智能的发展。c4b8.jpg"target="_blank">c4b8.jpg"width="auto"border="0"height="auto"alt=""title="">芯片所能提供的计算能力和高要求对于人工智能来说是非常矛盾的。第一台计算机ENIAC出现于1947年，计算能力约为每秒5000次。英特尔2019年的CPU约为20.8GFLOPS。我们看到它的变化围绕着摩尔定律，即每18个月将集成度翻一番来提高计算能力。但目前对人工智能的需求每3.4个月翻一番。因此，有必要寻找新的方法来提供计算能力。增加计算能力变得越来越困难的原因有两个。一是摩尔定律曾经使设备越来越小。现在器件的尺寸缩小已经接近物理极限，摩尔定律逐渐失效。二是传统计算架构发展带来的性能提升正在逐渐放缓。现代计算系统普遍采用信息存储和计算分离的冯·诺依曼架构，其计算性能受限于数据存储和传输速度。具体来说，CPU的运算速度不到1纳秒，而主存DRAM却在100纳秒左右，即存储速度远低于运算速度。在能耗方面，以台积电的45nm工艺为例，加减乘法不到1pJ，而32位DRAM的读取则高达640pJ，相差一百倍。因此，存储速度远低于CPU，存储功耗远高于CPU。这里先不说存储的写入，写入的功耗会更高。这样一来，整个系统的性能就受到数据存储速度和传输速度的限制，而且由于存储读写的高功耗，整个系统的功耗也非常大。现在我们可以看到很多新的计算，比如量子计算、光计算、类脑计算、存储计算一体化等。所以当我们要思考未来计算的时候，我个人认为量子计算和光计算是在从物理学中寻找答案，类脑计算和存储计算的融合是在从生物学中寻找答案，也就是寻找来自大脑的答案。在著名的人机大战中，人工智能选手AlphaGo使用了176个GPU、1202个CPU、15万瓦的功耗。而我们的脑容量约为1.2L，有10^11个神经元和10^15个突触，思考时的功耗为20W。大脑消耗如此少的能量，如此聪明，并拥有如此大的神经元和突触容量。所以我们希望用大脑来启发设计新的人工智能芯片。我们想通过向生物学家和神经科学家学习来了解大脑如何处理计算。大脑有几个特点。一是有大量的神经元连接和神经元加突触的结构。一个神经元连接到近10,000个突触。编码时空信息的第二种方式是脉冲形式。我们希望模仿大脑的结构和工作机制，用脉冲编码的形式进行输入输出。生物突触是信息存储和信息处理的最低级生物装置。我们想在芯片上制作新的电子突触设备，构建存储计算一体化架构。在新器件方面，我们主要研究忆阻器，其特点是多位、非易失性，即去电后电阻值仍能保持，速度很快。另一个关键点是它与集成电路的CMOS工艺兼容，可以大规模集成。近十年来，我们一直在围绕该设备进行优化和计算功能。美国DARPA的FRANC项目提出用模拟信号处理来超越传统的冯·诺依曼计算架构，希望能增加系统的计算性能。任正非在2019年接受采访时表示，未来边缘计算要么将CPU放在内存中，要么将内存放在CPU中。这改变了冯诺依曼结构，存储和计算合二为一，速度很快。阿里在其2020年十大技术趋势中提到了计算与存储的融合，希望通过存储与计算融合的架构来突破AI算力的瓶颈。存算一体的概念也是受到大脑计算方式的启发。基于忆阻器的存算一体化技术可分为三个阶段：第一阶段为单器件发展阶段。2008年，惠普实验室的StanWilliam教授在实验室中首次制备出忆阻器。后来密歇根大学卢伟教授提出了电子突触的概念，UCSB大学谢元教授提出了基于忆阻器的PRIME。存储计算一体化架构引起了广泛关注。第二阶段开始制作数组。2015年，UCSB展示了对12×12阵列上三个字母的识别。2017年，我们团队演示了在128×8的阵列上识别三张人脸。准确率可大于95%。%，同时，IBM、UMass、HP等研究团队尝试在阵列上实现存储与计算的融合。第三阶段是存储计算集成芯片。以近年来在芯片设计领域顶级会议ISSCC上发表的文章为例。2018年，松下展示了多层感知器的宏电路。台积电联合展示了卷积核计算的宏电路。今年清华大学和斯坦福大学合作做了一个有限的玻尔兹曼机宏电路。今年我们清华团队完成了一个完整的系统集成的存储计算集成芯片。从系统测试结果来看，这款芯片的能效高达78.4TOPs/W，相当高。我们也做了对比，一个是内存计算集成芯片和系统，一个是树莓派28nmCPU。我们的芯片运行10,000张图片需要3秒，而他们的需要59秒。我们的速度要快得多，但准确率是一样的。今年1月，我们在Nature上发表了忆阻器记忆计算集成系统的工作。这项工作主要是将多个阵列放在一起组成一个系统，验证是否可以作为模拟计算来实现AI的工作。我们提出了一种新颖的混合训练算法，可实现与软件相当的计算精度。还提出了一种新的卷积空间并行架构，使系统的处理速度提高了一倍。为什么忆阻器存储和计算适用于人工智能？因为交叉数组结构特别适合快速矩阵向量乘法。存储和计算一体化可以降低权重转移带来的功耗和延迟，有效解决当前算力瓶颈。另外，人工智能更关心系统的精度，而不是每个设备的精度，这特别符合忆阻器和模拟计算的特点。我们还与毕国强合作撰写了一篇评论文章。利用大脑灵感设计人工智能芯片，我们将大脑与电子设备从I/O通道，到突触、神经元，再到神经回路，再到整个大脑结构进行比较。文章标题《Bridging Biological and Artificial Neural Networks》，2019年发表于AdvancedMaterials，感兴趣的可以看这篇文章。展望未来，我希望能够构建一个集存储和计算为一体的计算机系统。过去是晶体管加布尔逻辑加冯·诺依曼架构，现在是模拟忆阻器与模拟计算、存储集成的非冯·诺依曼架构。OMT:HowBrainScienceHelpsAI中国科学技术大学神经生物学与生物物理学系主任毕国强先生、信息科学与技术学院终身教授吴思先生演讲报告后、北京大学、三位演讲老师在脑科学方面为AI的发展提供了哪些思路、方法和技术？有哪些典型案例？进行了热烈的讨论。会上，胡晓林提到，很多工作其实都是受到了脑科学的启发。最早可以追溯到1943年Mike和Pitts首次提出人工神经元MP神经元。如果他们没有提出人工神经元，下面的CNNs等等是不存在的。他们实际上是在做神经科学。他们试图发明计算模型并解释大脑的工作。他们提出了MP神经元的这种逻辑运算。后来，Rosenbaltt扩展了MP神经元，得到了多层感知器。后来在1989年和1990年，严乐存等人在Neocognitron模型的启发下提出了CNN。Neocognitron是由日本人Fukushima提出的。真的找到了他的论文，Neocognitron的结构和现在的CNN的结构是一模一样的，唯一的区别就是学习方式不同。1980年Neocognitron提出时，还没有BP算法。Neocognitron是如何产生的？神经科学发现，猫的视觉皮层中有两种细胞：简单细胞和复杂细胞。基于这两类细胞的特性，Neocognitron被构建出来，试图解释大脑如何识别物体。后来发展成为CNN。MP神经元和Neocognitron是两种具有里程碑意义的方法，是AI典型的神经科学启发的工作，甚至可以说是颠覆性的工作。坦率地说，在这次神经网络和人工智能的腾飞过程中，我并没有看到很多非常激动人心的类脑工作。受科学启发的计??算模型似乎没有我刚才提到的两个模型有意义。我希望在这个领域出现一些新的类脑方法。即使他们目前的表现很差，但十年或几十年后，他们可能会成为开创性的工作。吴思：要看我们怎么定义AI。如果广义上包括信息论、动力系统分析、统计学习等，那么这些就是计算神经科学每天都在使用的工具，它们一直在帮助脑科学的发展。如果一定要强调最新的，比如深度学习，那么如何将AI用于脑科学，就是当前的研究热点。世界上有很多团体，包括清华大学的胡小林老师。大家把视觉系统看成一个深度学习网络，然后训练深度学习网络，加入一些生物约束，然后用比较的方法，看看系统能学到什么。什么，然后回答生物视觉认知的问题。唐华锦：吴思老师说的我补充一下。传统上，人工智能提供了非常重要的大数据分析工具，如视觉神经、视觉皮层等。现在AI提供了非常重要的大数据工具，尤其是在高通量的脑成像方面，AI大数据在建立非常详细的脑模型方面起到了重要的作用。还有实时大脑活动的分析，比如斑马鱼的活动，如何记录这些神经元的活动，同时匹配那些神经元。这是很多AI深度学习帮助脑科学家分析数据和统计数据，包括三维重建，包括树突和轴突之间的连接结构，也会起到非常重要的作用。人工智能仍然为深入解释提供了一个很好的工具。
