当前位置: 首页 > 科技观察

光速运算实现突破,AI训练的成本难题或将得以解决

时间:2023-03-17 23:52:51 科技观察

光速计算的突破或可解决AI训练的成本问题人工智能经历了两次浪潮。第一波是基于“if-then”结构,基于人为设定的形式逻辑;第二波就是我们现在比较常见的,以大数据为驱动,借助统计方法,模拟神经网络等,实现计算机的自主学习。从这两次浪潮的转化中,我们发现AI的本质是计算,算法控制着数据的流动,实现了所谓的“智能”。计算无疑是人工智能发展中最重要的一环。而现在,人工智能的计算去哪儿了?光速计算解决AI训练成本问题近日,OpenAI对不同时期最先进的AI实验所消耗的计算量进行了调查分析。结果发现,与6年前相比,AI训练所需的计算量增加了30倍,相当于每3.5个月翻一番。图为AI训练所需的计算量(以千亿次浮点运算为单位)。Source:OpenAIAnalysisReport计算量的增加其实并不是坏事,因为这意味着AI的能力也在与日俱增。然而,计算能力的提升也增加了AI的训练成本。以现在人尽皆知的AlphaGoZero为例。这是目前最大的AI实验,其成本可能达到1000万美元。如果实验计算量继续增长,其成本将每1.1-1.4年增加一个数量级。按照这个趋势,这个实验的成本将在5-6年内达到2000万美元。除非有一些非常强大的人工智能技术能够带来大规模的经济回报,否则,为了保持人工智能的计算趋势,确保下一只“阿尔法狗”能够被“喂”出来,经济产出就不得不以每年一个数量级的增长率计算。这只是目前的情况,谁也不能保证未来人工智能计算的趋势不会上升得更快。因此,企业和政府当前面临的问题是如何加速AI计算,以满足人工智能研究中日益增长的计算量。说到速度,宇宙中最快的速度就是光速,光的传播速度是每秒三十万公里。如果AI的深度神经网络中的信号能够以光速传输,那么计算速度是不是也能随之提高呢?近日,美国加州大学洛杉矶分校(UCLA)的研究人员利用3D打印技术打印出固态神经网络,并利用分层传播的光衍射进行计算,实现了手写数字图像识别的效果。图为DiffractionDeepNeuralNetwork(D^2NN)架构的来源:《science》利用光来进行计算其实与机器学习的经典算法之一——线性回归算法有着天然的契合。线性回归一般是根据连续变量来估计实际值,而光的振幅和相位是可以调整的变量。这也是AI光速计算与传统计算机电路中电场传播的区别。该技术的发展相信有助于AI计算成本的不断降低和量产的目标。用光进行计算是什么意思?随着技术落地,当光速计算技术真正落地应用后,会给人工智能带来哪些改变?分析师严轩认为,其将在以下两个方面取得重大突破。1、“黑盒子”变成了阳光下的“玻璃盒子”。如果说人类是AI的“上帝”,那么人类赋予AI的只是“生命”组合的规则,而真正的进化是由AI自己完成的。在初始阶段,人工智能的认知是非常有限的,它通过试错来寻求最好的结果,从而出现了一定程度的智能。从人类的角度来看,我们在AI的认知过程中是缺席的。在深度学习的框架下,我们“知其然不知其所以然”。这就是著名的“黑匣子”问题。AI预测你将在50年后死亡,但你不知道它是如何运作的;无人驾驶汽车撞到路边的护栏上,你不知道是什么问题,只能送回原厂,彻底修改算法。让AI有了光,“黑匣子”的问题或许就迎刃而解了。要知道,虽然AI计算是一个无形的数字,但光的衍射却是真实存在的物理现象。如果将模型的预测过程固化为物理表征,就可以清晰地观察到AI计算的过程。在一项用光进行计算的实验中,加州大学洛杉矶分校的研究人员开发了一个3D打印的人工智能分析系统。该系统可以通过光的衍射分析人工智能。研究人员还表示,通过改变相位和振幅,人工智能中的每一个“神经元”都将是可调的。2、AI的“养成”博弈:强人工智能的开启强人工智能(具有感知和自我意识,能够推理和解决问题的智能机器)能否实现?有人预测,在21世纪,将出现与人类智能相当的人工智能AI。而这个预测位置来自于一个基于还原论的计算理论。它的基本观点是,物理世界、生命过程甚至人类思维都是可以通过算法计算的。人脑像电脑一样工作。只要我们能够模拟人脑的计算规则,我们就可以制造出至少与人类处于同一水平的智能机器。当然,这里有一个隐藏的假设,那就是人类所有的意识都是大脑计算的产物。如何打造强大的人工智能,我们或许可以从人脑的计算量入手。这里有一个很自然的假设,就是如果我们创造一个AI,它可以有足够的计算能力从零岁开始模拟人脑18年,并且以足够细的粒度捕捉大脑的智力表现,这个AI可以你像一个18岁的成年人一样解决问题?这是多少计算?模拟大脑一秒所需的每秒峰值速度(FLOPS,也称为“每秒浮点运算”)是很多计算,例如AIImpact收集的数据的中位数是1018FLOPS,范围从3×10^13FLOPS到1×10^25FLOPS。运行这样的模拟18年相当于700万Petaflops。随着AI技术的不断发展,它的粒度只会越来越细微,计算量也会越来越大。如果能够利用光来进行计算,无疑会为这种想象提供一种可行的技术。光速计算的“硬伤”利用光来进行计算,彻底改变了神经网络的计算方法,但这种方法仍然存在一些问题。首先,在上面提到的实验中,光的计算是基于固化的神经网络。因此,当深度学习完成训练,确定所有参数的值后,再用3D打印技术进行固化,打印出来的神经网络就不能再编程了。其次,制造可实现按需加工任务的超高精度衍射板难度很大。在解决计算训练成本的问题时,很难说这种新技术不会带来硬件开发的成本问题。除了制造工艺,还有硬件安装和环境稳定性的问题。诚然,新技术的应用还需要一定的时间,我们还需要积极探索利用光来进行计算是否能够满足人工智能计算快速增长的趋势。随着计算问题的解决,人工智能必将取得长足的进步。