当前位置: 首页 > 科技观察

9位院士和12位专家共同撰文:智能计算的新进展、挑战与未来

时间:2023-03-12 00:19:40 科技观察

本文经AI新媒体量子比特(公众号ID:QbitAI)授权转载,转载请联系出处。论文地址:https://spj.science.org/doi/10.34133/icomputing.0006引言人类社会正从信息社会进入智能社会,计算已成为推动社会发展的关键要素。在万物互联的数字文明新时代,传统的基于数据的计算已经远远不能满足人类对更高智能水平的追求。近年来,计算和信息技术的飞速发展,深度学习的空前普及和成功,使得人工智能(AI)成为人类探索机器智能的前沿领域。此后,产生了一系列突破性的研究成果,包括YannLeCun提出的卷积神经网络和YoshuaBengio在深度学习因果推理领域的成果。2016年3月,DeepMind推出的人工智能围棋程序AlphaGo对战世界顶尖围棋高手李世石,在全球引起了前所未有的关注。这场划时代的人机大战以人工智能的压倒性胜利而告终,成为将人工智能浪潮推向新高度的催化剂。人工智能的另一个重要推动力是大型预训练模型的出现,这些模型已开始广泛用于自然语言和图像处理,以借助迁移学习处理各种应用。其中最具代表性的是自然语言处理模型GPT-3,已经证明结构复杂度高、参数量大的大型模型可以提高深度学习的性能。计算能力是支撑智能计算的重要因素之一。面对信息社会庞大的数据源、异构的硬件配置和不断变化的计算需求,智能计算主要通过纵向和横向的架构来满足智能任务的计算能力需求。垂直架构的特点是同构的计算基础设施,主要通过应用智能方法提高计算能力来提高资源利用效率。相比之下,水平架构协调和调度异构和广域计算资源,以最大限度地发挥协同计算的效果。例如,2020年4月,为了应对全球COVID-19研究的计算需求,Folding@home在三周内联合了40万名计算志愿者,实现了2.5Exaflops的计算量,超越了世界上任何一台超级计算机。尽管在智能和计算方面取得了巨大成功,但我们在这两个领域仍然面临一些重大挑战:智能方面的挑战。使用深度学习的人工智能目前在可解释性、泛化性、可进化性和自主性方面面临着重大挑战。与人类智能相比,当前大多数人工智能技术都很弱,只能在特定领域或任务中发挥良好作用。从基于数据的智能升级到更多样化的智能,包括感知智能、认知智能、自主智能和人机融合智能,也面临着重大的理论和技术挑战。计算挑战。数字化浪潮带来了前所未有的应用、连接、终端、用户和数据量的增长,这一切都需要巨大的计算能力。满足如此快速增长的计算能力需求正变得越来越具有挑战性。智能社会的庞大任务依赖于各种特定计算资源的高效组合。此外,传统的硬件模型不能很好地适应智能算法,制约了软件的发展。迄今为止,智能计算还没有一个被普遍接受的定义。考虑到世界的三个基本空间,即人类社会空间、物理空间和信息空间日益紧密地结合在一起,我们从解决复杂的科学和社会问题的角度,提出智能计算的新定义:智能计算是数字化的。文明时代新的计算理论方法、架构体系和技术能力的总称。智能计算根据具体的实际需要,以最小的代价完成计算任务,匹配足够的算力,调用最优算法,获得最优结果。智能计算的新定义是为应对人类社会、物理世界和信息空间三元融合快速增长的计算需求而提出的。智能计算以人为本,追求高算力、高能效、智能和安全。其目标是提供通用、高效、安全、自主、可靠、透明的计算服务,以支持大规模、复杂的计算任务。图1展示了智能计算的整体理论框架,体现了支持人类社会-物理世界-信息空间融合的多种计算范式。△图1:基于人类社会空间、物理空间、信息空间融合的智能计算概述。智能计算是数字文明时代支撑万物互联的新型计算理论方法、架构体系和技术能力的总称。通过智能计算解决复杂的科学和社会问题,可以实现许多经典和前沿研究领域的创新。智能计算的基本要素包括人的智能、机器的能力以及由万物构成的物理世界。在理论框架中,人类是智能计算的核心和智慧的源泉,代表着原始的先天智能,称为元智能。元智能包括理解、表达、抽象、推理、创造、反思等人类高级能力,包含了人类积累的知识。元智能以碳基生命为基础,由个体和生物群体经过数百万年的进化产生。它包括生物具身智能、脑智能(尤其是人脑)和群体智能。所有的智能系统都是由人类设计和建造的。因此,在智能计算的理论体系中,人的智能是智能的源泉,计算机是人类智能的赋能。我们称计算机的智能为一般智能。通用智能代表计算机解决具有广泛扩展的复杂问题的能力,基于硅基设施,并由个人和群体计算设备产生。生物智能可以在四个层次上移植到计算机上:数据智能、感知智能、认知智能和自主智能。元智能与通用智能如图2所示。△图2:元智能与通用智能智能计算面临大场景、大数据、大问题、泛在需求的挑战。算法模型变得越来越复杂,需要超级计算能力来支持越来越大的模型训练。目前,计算资源已经成为提高计算机智能研究水平的障碍。随着智能算法的发展,拥有丰富计算资源的机构可能形成系统的技术垄断。经典的超级计算机已经无法满足人工智能对计算能力的需求。算法优化虽然可以在一定程度上降低算力需求,但并不能从根本上解决这个问题。需要从架构、加速模块、集成模式、软件栈等多个维度进行全面优化,如图3所示。△图3:智能计算的计算能力智能计算在理论和技术上具有以下特点(图4):理论和技术的自学习和可进化性,架构的高计算能力和高能效,系统方法和可靠性的安全性,运行机制的自动化和精确性,服务的协作和泛在性。智能计算包括两个本质方面:智能和计算,两者相辅相成。智能推动计算技术的发展,计算是智能的基础。一种提高计算系统性能和效率的先进智能技术范式是“智能驱动计算”。支撑计算机智能发展的高效、强大的计算技术范式是“面向智能的计算”。两种基本范式在五个方面进行了创新,提高了计算能力、能源效率、数据使用、知识表达和算法能力,实现了泛在、透明、可靠、实时和自动化的服务。△图4:智能计算的特征智能驱动计算提高计算的普适性对于智能计算至关重要。现实场景中的问题,例如模拟、图形(gragh)(图5)等,需要进行各种计算。智能计算的另一个重点是如何提高计算的智能化水平。从经验上,我们往往需要向自然界中的智慧生物学习,计算也不例外。例如,三大经典智能方法:人工神经网络(图6)、模糊系统和进化计算,都是受生物智能启发的算法。智能计算理论包括但不限于上述计算,以实现高度的普适性和智能化。△图5:图计算的技术架构△图6:典型神经元结构和人工神经元结构智能系统开始工作之前,首先要进行智能感知。因此,感知智能在所有智能系统中都起着至关重要的作用。感知智能侧重于多模态感知、数据融合和智能信号提取与处理。典型的例子包括智慧城市管理、自主潜水系统、智能防御系统和自主机器人。感知智能研究最热门的领域是模拟人的视觉、听觉、嗅觉、味觉和触觉五种感觉。此外,智能传感还包括温度、压力、湿度、高度、速度、重力等,需要大量的计算或数据训练才能提高其性能。近年来,随着模式识别和深度学习技术的综合应用,机器的感知智能已经超越人类,在语音、视觉、触觉识别等方面取得了重大进展。由于其重要性的不断提高和应用领域的不断拓宽,智能传感器受到了广泛的关注。如图7所示,智能传感器的形式多种多样,以满足不同应用的需求,并且不断开发出更新更好的型号。△图7:工业中需要接入物联网的各种传感器类型。认知智能是指机器具有像人一样的逻辑理解能力和认知能力,特别是思考、理解、总结和主动应用知识的能力。它描述了代理在真实环境中处理复杂事实和情况的能力。数据识别是感知智能的核心功能,需要对图像、视频、声音等各类数据进行大规模数据采集和特征提取,完成结构化处理。相比之下,认知智能需要了解数据元素之间的关系,分析结构化数据中的逻辑,并根据提取的知识做出响应。认知智能计算主要研究机器自然语言处理、因果推理和知识推理等领域(图8)。通过对人脑神经生物学过程和认知机制的启发式研究,提高机器的认知水平,使其获得帮助、理解、决策、洞察和发现等能力。△图8:知识推理概述驱动机器从被动输出到主动创造的关键要素有两个:强泛化模型和与外部环境的持续交互。自主智能的发展路径是从学习单一任务开始,举一反三,逐步实现与环境动态交互的主动学习,最终实现自我进化的高级智能。目前,可以通过迁移学习、元学习、自主学习等技术找到一条生成自主智能的可行路径。虽然在四个层面的智能(数据智能、感知智能、认知智能和自主智能)上取得了显着进展,但目前仅通过计算/统计模型很难实现极端复杂场景的全智能。在这些场景中,人类应该继续在问题解决和决策中发挥不可或缺的作用,探索人类认知过程中涉及的元素,并将其与机器智能相结合。下一步,我们将重点关注人机交互、人机融合、脑机接口等技术。以智能为导向的计算AI的发现不断涌现,这在很大程度上要归功于不断增长的计算能力。人工智能的快速变化是由新思想或革命性理论驱动的。通常,最新的最先进模型仅依赖于更大的神经网络和更强大的处理系统。OpenAI研究人员在2018年的一项研究中追踪了基于计算能力的最大模型的增长。利用训练人工智能研究史上一些最著名的人工智能模型所需的计算量,他们确定了计算资源快速增长的两个趋势。开发突破性模型所需的计算能力正以与摩尔定律大致相同的速度增长,直到2012年,单个微芯片的计算能力往往每两年翻一番。但是图像识别系统AlexNet在发布时重新引起了人们的兴趣2012年,AlexNet的引入刺激了顶级模型的计算需求急剧增加,从2012年到2018年每3到4个月翻一番,如图9所示。△图9:计算能力需求增长超过过去十年已经大大超过了宏观趋势。当摩尔定律失效时,超强算力主要依靠海量计算、内存、存储资源的并行叠加。例如,“高性能计算”指的是将大量计算机快速联网形成一个“集群”进行密集计算,使用户能够比传统计算机更快地处理大量数据,从而获得更深刻的洞察力和竞争优势。此外,得益于云计算(图10),用户现在可以选择增加其HPC程序的容量,从而继续提高计算能力。△图10:云计算、雾计算和边缘计算的代表推动智能计算架构创新的目标包括更高效的能源管理、更低的功耗、更便宜的总芯片成本以及更快的错误检测和纠正。当涉及某些无法在CPU上执行的AI操作时,AI加速器可以显着减少训练和执行时间。在短期内,所用加速器的架构专业化将是维持计算能力增长的最佳方式,如图11所示为公开发布的AI加速器和处理器的峰值性能和功耗。此外,内存计算(图12)是一种非常有效的方案,它使内存单元能够执行原始逻辑运算,因此它们可以在不与处理器交互的情况下执行计算,这是内存和处理器之间的持续通信。拉大速度差距的主要原因。△图11:公开发布的AI加速器和处理器的峰值性能和功耗散点图△图12:计算的三种概念方法:(a)传统数字计算,(b)近内存阵列计算(NMAC)和(c)内存阵列计算(IMAC)的复杂性是传统计算机进一步突破的瓶颈。当今高度复杂的AI模型(例如深度神经网络)仍然难以在边缘设备中广泛使用。这是由于运行这些模型的高级GPU和加速器的功率和带宽处理缺陷,导致处理时间长和架构设计繁琐。由于这些问题,研究人员开始创造新的计算范式,主要包括:量子计算(图13),由于其纠缠或其他非经典关联带来的量子优势,可以在很多复杂的计算问题中达到指数速度;神经形态计算(图14)的结构和操作受到大脑中神经元和突触的启发,由于其能量效率高,非常适合计算。神经形态计算是事件驱动和高度并行化的,这意味着系统中只有一小部分同时工作,因此消耗的功率非常小;光子计算(图15)与电神经网络相比具有许多优势,包括超高带宽、快速计算速度和高并行性,所有这些都使用光子硬件加速计算复杂的矩阵向量乘法;生物计算(图16)是利用生物系统固有的信息处理机制发展起来的一种新型计算模型,主要包括蛋白质计算机、RNA计算机和DNA计算机,具有并行和分布式计算能力强、功耗低等优点。△图13:复杂度关系图(a)与识别和评估可能的量子优势流程图(b)△图14:传统计算系统和类脑计算系统的架构△图15:深度神经网络,包括传统网络与电子光子网络△图16:生物计算可能提供优于传统计算机的性能智能计算的应用要想跟上当前科学的快速发展,就必须不断创新。目前正在进行的计算革命的融合将以前所未有的方式极大地推动科学发现的进步。几十年来,计算材料(图17)一直是研究材料特性和设计新材料的强大工具。然而,由于材料和材料行为的复杂性,它们的应用面临许多挑战,包括许多原子、离子和原子-离子相互作用的力场和势的缺乏,分子动力学模拟中的不同热力学相,以及优化材料成分和过程参数的巨大搜索空间。作为一种新的研究范式,人工智能与计算材料的融合是对传统计算材料的一场革命,在多长度、多时间尺度、多物理耦合计算方面取得了巨大成功。△图17:材料/分子科学范式比较天文学作为最古老的观测科学之一,历史上收集了大量数据。由于望远镜技术的突破,收集到的数据呈爆炸式增长。天文学和天体物理学领域的特点是数据丰富,大口径地基望远镜种类繁多,例如即将推出的大型巡天望远镜和天基望远镜。借助高分辨率相机和相关工具,数据收集现在更加高效且自动化程度更高,因此必须进行更高效的数据分析。因此,需要智能计算技术来解释和评估数据集。药物设计也受益于AI(图18)。人工智能可以帮助科学家建立蛋白质的三维结构,模拟药物与蛋白质的化学反应,预测药物的疗效。在药理学中,人工智能可用于创建靶向化合物和多靶点药物。人工智能还可用于设计合成路线、预测反应产率以及了解化学合成背后的机制。AI可以更轻松地重新利用现有药物来治疗新的治疗目标。此外,人工智能对于识别不良反应、测量生物活性和获得药物筛选结果至关重要。△图18:不同的基于深度学习的药物-靶点相互作用预测算法对应不同的输入特征。(a)基于配体的方法,(b)基于结构的方法,和(c)基于关系的方法随着大数据和AI技术的使用越来越多,作物育种开始融合并取得突破(图19)。人工智能技术可以支持农业食品应用和供应链阶段的服务创建、模型识别和决策过程。人工智能在农业中的主要目标是准确预测结果并提高产量,同时最大限度地减少资源使用。因此,人工智能工具提供的算法可以评估产量、预测不可预见的问题或事件以及趋势。从种植到收获再到销售,人工智能促进了整个农业价值链。△图19:大数据与人工智能在植物育种上的结合智能计算加速转型变革,引发经济社会秩序变革。商品和劳动力市场正在因技术进步而发生巨大变化,数字社会正在逐步形成(图20)。人工智能应该成为数字经济中每个数据驱动战略的核心,包括工业4.0。例如,人工智能可以应用于预测性维护。预测性维护包括涉及通用设备或生产机械的维护,并使用来自生产线或运营的传感器数据来帮助减少运营费用或停机时间。此外。人工智能可以应用于城市治理,通过制定新的策略和方法使城市变得更加智能。智慧城市治理旨在利用最先进的信息技术同步数据、程序和权限,造福城市居民。主要包括智慧决策、智慧城市治理、智慧行政、智慧城市合作四个方面。△图20:数字社会组成部分展望从新兴产业生态来看,智能计算产业仍面临一系列决定其未来发展的挑战。首先,与传统计算理论相比,智能计算是由语言和生物学驱动的计算范式的应用和发展。这意味着机器可以模仿人脑解决问题的能力,根据不同的场景做出决策。但硅基计算与碳基计算的底层逻辑存在根本差异,脑智能机制有待进一步探索。智能计算的下一步是通过深入探索类人智能的基本要素、宏观层面的相互作用机制以及微观层面支持不确定性生成的计算理论来彻底改变它。其次,探索人类如何学习并将其应用到人工智能的研究中具有重要意义。知识驱动的机器智能可以从人类活动中学习,模仿人脑的决策能力,使机器能够像人一样感知、识别、思考、学习和协作。探索多知识驱动的知识推理和持续学习的理论和关键技术,使智能系统具有类人的学习、感知、表征和决策能力,从数据推动智能计算演进-驱动到知识驱动。三是软硬件适配面临精度损失、调用困难、协同效率低等巨大挑战。未来计算机必须突破冯·诺依曼体系结构下固定的输入和处理范式,大力发展跨学科的智能计算和仿生学。在算法层面进行设计,突破现有架构的局限,以更低的计算和硬件设计成本尝试更灵活、人性化的数据处理方式。此外,开发高性能、低能耗的新型组件设计,提高软硬件的计算能力和效率,以满足快速增长的需求和智能计算应用也很重要。第四,智能计算的理论和技术架构是一个多子系统与其他学科相互作用的复杂系统。系统中硬件的多样性需要更复杂的系统设计、更好的优化技术以及更高的系统调整成本。高维计算缺乏理论复杂性是大规模计算系统面临的主要挑战。结束语当前,我们正迎来人类发展的第四次浪潮,正处于从信息社会向集人类社会-物理世界-信息空间为一体的智能社会的关键转型期。在这种转变中,计算技术正在经历变革,甚至是颠覆性的变化。智能计算被认为是未来计算的发展方向,不仅是面向智能的计算,而且是使能智能的计算。它将提供通用的、高效的、安全的、自主的、可靠的和透明的计算服务,以支持当今智能社会中大规模和复杂的计算任务。本文全面回顾了智能计算的理论基础、智能与计算的技术融合、重要应用、挑战和未来方向。希望本综述能够为研究者和实践者提供良好的参考,推动未来智能计算领域的理论和技术创新。关于智能计算智能计算由之江实验室与美国科学促进会(AAAS)共同创立。它是在《科学》合作期刊框架下智能计算领域的第一个开放获取(OpenAccess)国际期刊。之江实验室主任朱世强教授与中国工程院院士、中国科学院计算技术研究所学术主任孙宁辉教授为本刊共同主编。该刊以“面向智能的计算、智能驱动的计算”和“智能、数据和计算驱动的科学发现”为主题,主要刊登原创研究论文、综述论文和评论论文。