相对于电子计算，光计算具有高速、高带宽、低功耗等优势。在某些领域的应用非常有限。近日，Nature的一篇Perspective文章分析了深度光学和深度光子学在人工智能推理方面的应用，展示了该领域（尤其是光电混合系统）的发展潜力。为了在各种应用中高速、低功耗地执行人工智能任务，我们需要加速器。光计算系统或许能够满足这些特定领域的需求，但即使经过半个世纪的研究，通用光计算系统仍未发展成为成熟实用的技术。然而，人工智能推理，特别是对于视觉计算应用，可能会为基于光学和光子系统的推理提供机会。本文将回顾人工智能光学计算的最新研究成果，并探讨其潜力和挑战。计算系统的能力正在与他们试图理解的大量视觉数据进行军备竞赛。在自动驾驶、机器人视觉、智能家居、遥感、显微镜、监控、国防和物联网等多种应用中，计算成像系统记录和处理前所未有的数据量。这些数据的解释不能由人类完成，而是使用基于人工智能(AI)的算法。在这些应用中，深度神经网络(DNN)正在迅速发展成为视觉数据处理的标准算法方法。这主要是因为DNN在许多基准测试中取得了最先进的结果，通常大大优于其他方法。深度学习最近的这些突破主要归功于现代图形处理单元(GPU)强大的处理能力和并行计算能力以及大规模视觉数据集的可用性，这使得DNN能够使用有监督的机器学习策略高效地执行。火车。然而，高端GPU和其他加速器运行日益复杂的神经网络对功率和带宽的需求非常高，它们需要大量的处理时间，而且它们的外形尺寸很大。这些限制使得难以在边缘设备（例如相机、自动驾驶汽车、机器人或物联网外围设备）中使用DNN。以自动驾驶汽车中的视觉系统为例，它必须能够使用有限的计算资源实时做出稳健可靠的决策。当汽车高速行驶时，瞬间的决定可能意味着生死。事实上，如果计算成像系统可以变得更紧凑，几乎所有边缘设备都可以受益，从而降低延迟并改善尺寸、重量和功耗。DNN通常由训练和推理两个阶段组成，这两个阶段的计算要求差异很大。在训练阶段，将大量标记样本输入到DNN中，然后针对特定任务使用迭代方法优化DNN的参数。经过训练后，DNN可用于执行推理：将一段数据（例如图像）以正向传递的方式馈入网络，由网络进行处理，并计算出所需的结果。虽然一些应用程序也使用GPU来执行推理，但对于许多边缘设备，由于上述原因，使用GPU并不实用。虽然电子AI加速器非常灵活，但光学神经网络(ONN)和光子电路可以为该应用和其他机器学习应用带来范式转变。光学计算系统有望以更小的设备尺寸进行大规模并行计算，并且在某些实现中，功耗非常低。事实上，在计算系统中利用光实现通信的光互连（opticalinterconnect）技术已经广泛应用于当今的数据中心，并且越来越有可能在计算系统的更深处使用光互连。是持续扩张的关键。与电互连技术不同，随着光、光、电子器件的深度融合，光互连有望给通信的带宽密度和每比特能耗带来数个数量级的提升和改善。这种改进的互连使电光混合DNN成为可能，这种低功耗、高度并行的集成也可以用作模拟光学处理器的一部分。尽管光计算机具有巨大的潜力，并且已经研究了大约半个世纪，但通用光计算仍然不是一项成熟实用的技术。然而，使用全光学或混合光电系统可以很好地完成推理任务，特别是对于视觉计算应用程序。例如，作为光物质相互作用或光传播的副产品，线性光学可以计算卷积、傅里叶变换、随机投影和许多其他几乎“免费”的操作。这些操作是DNN架构的基本构建块，驱动着大多数现代视觉计算算法。我们有可能以光速执行这些计算，而几乎没有或没有电力需求。本文认为这具有变革潜力。回顾光计算的历史下面的图1显示了AI和相关光学和光子学实现的时间线。介绍了一系列里程碑和论文，重点是最近的发展。具体年份如下：1949年，唐纳德·O·赫布出版了《行为的组织（The Organization of Behavior）》一书。1957年，FrankRosenblatt提出了感知器。1960年Widrow&Hoff提出自适应开关电路。1964年，Lugt提出光相关（Opticalcorrelation）1982年，JohnHopfield提出Hopfield网络；Kohonen在1984年提出了自组织特征图，Goodman等人。发表论文《用于超大规模集成电路系统的光互连（Optical interconnections for VLSI systems）》1985年，Farhat等人。1986年，Rumelhart等人发表了一篇论文。1990年，LeCun等人提出了使用反向传播的多层感知器。使用CNN进行数字字符识别；诗篇等。光学神经网络(ONN)使用非线性光学反应晶体2006年，Hinton&Salakhutdinov深度自编码2012年，Krizhevksy等人。提出深度CNN。2017年，沉等人。提出使用纳米光子电路进行深度学习；泰特等人。提出的神经形态光子网络。2018年，Chang等人。提出光学CNN；林等。.2019年提出的全光衍射神经网络，Feldman等人。提出了高带宽光子神经突触网络用于人工智能的光子电路现代DNN架构是线性层级联，然后是非线性激活函数，这重复了很多二流。线性层的最一般形式是全连接层。在这种情况下，每个输出神经元是所有输入神经元的加权和。在数学上，这可以表示为一种矩阵向量乘法，可以使用光学技术有效地实现。也就是说，我们可以利用光子电路来进行人工智能相关的计算。然而，相关技术仍面临可编程性等未解决的问题。使用自由空间、透镜和复杂介质进行计算可以替代光子电路：直接在自由空间或某种介质中传播的光场上构建计算能力。（见下图2）从数学上讲，在自由空间中传播的波可以用基尔霍夫衍射积分（Kirchhoff'sdiffractionintegral）来描述，相当于用固定的核（kernel）对场进行卷积。反过来，此操作是卷积神经网络(CNN)的基本构建块，卷积神经网络是最常用的视觉计算框架。图2：光波传播概述。如图所示，上一行是波在自由空间和不同介质中的传播，下一行是对应的线性矩阵运算。其中a是波穿过自由空间的情况，这在数学上被描述为波场与复值核的卷积。b-g使用不同的媒体，因此有不同的矩阵。使用深度计算光学和成像进行推理计算成像正在研究光学和图像处理的联合设计，可用于增强计算相机功能等应用。将相机解释为编码器-解码器系统会很有帮助。因此，我们可以从整体的角度将相机设计问题视为光学和成像处理的端到端优化问题。因此，物理透镜和深度神经网络可以针对通过损失函数和训练数据集定义的特定任务进行联合优化。（见下图3）图3：光学编码器-电子解码器系统示意图。传感器作为瓶颈，集成角度、波长光谱、曝光时间、相位和其他入射光指标。自由曲面镜头或定制传感器电子设备可以针对特定任务进行离线优化，然后在生产中进行处理，以光学和电子方式记录图像代码。然后可以使用神经网络或其他可微图像处理算法从观察中提取所需信息。这些编码器和解码器共同构成了一个混合光电神经网络。我们还可以将光学操作的原理理解为一种计算形式，一种与处理数据记录的电子平台一起工作的预处理器或协处理器。基于这种解释，我们可以通过让光学器件做尽可能多的工作来优化计算成像系统的延迟和功率要求。显微镜应用光学显微镜也是深度学习方法取得重大影响的领域，涵盖多种模式，包括相干成像以及明场和荧光显微镜。解决显微图像重建与增强的逆问题是几十年来的研究热点，以往方法的一个重点是建立成像系统的正演模型。基于深度学习的数据驱动方法是解决光学显微镜反问题的另一种途径。图4：深度光学和光子学应用示例I。A。光学图像分类；b.混合光电图像分类；C。使用伪随机投影进行图像分类；d.虚拟染色；e.虚拟重新聚焦。图5：深度光学和光子学应用示例I。A。单像素相机；b.用于视频超分辨率的神经传感器；C。纳米光子电路；d.光子集成电路；e.光学干涉仪；展望未来文章认为，混合光电计算系统是该领域最有前景的方向。混合系统结合了光计算的带宽和速度优势与电计算的灵活性，同时利用了模拟和数字光学/光学/电子系统的节能技术基础。混合光电推理机通过将AI推理引入计算机视觉、机器人、显微镜和其他视觉计算任务，实现了光学计算机早就应该具备的转换能力。
