如果说GPU掀起了深度学习，那么深度学习的胃口早就超过了GPU。当然，GPU也在不断发展，TPU、IPU、MLU也纷纷出现，满足了这个庞然大物。深度学习对算力的需求是无穷无尽的，但受限于能源消耗和物理限制，虽然现在硅基电子元器件还能支撑，但远处几乎不可逾越的高墙已经出现。该怎么办？光速深度学习！今天，Science发表了加州大学洛杉矶分校(UCLA)研究人员的最新研究：All-opticalmachinelearningusingdiffractivedeepneuralnetworks，他们使用3D打印创建了一组“全光”人工神经网络，可以分析大量数据并以光速识别目标。论文地址：http://science.sciencemag.org/content/361/6406/1004这种称为衍射深度神经网络(D2NN)的技术利用物体的光散射来识别物体。该技术基于深度学习被动衍射层设计。研究团队首先使用计算机模拟，然后使用3D打印机创建了一个8平方厘米的聚合物层。为了衍射来自目标的光，每个晶片表面是不平坦的。衍射深度神经网络由一系列聚合物层组成，每层约8平方厘米。利用光在网络区域内的衍射传播路径来识别目标。研究人员使用频率在太赫兹范围内的光来穿透3D打印网络的层。每个网络层都由数万个像素组成，光可以通过这些像素传播。研究人员将像素分配给每一类目标，来自目标的光会衍射到已分配给该目标类型的像素上。通过这种方式，衍射深度神经网络能够在与计算机“看到”一个物体所花费的时间相似的时间内识别物体。D2NN：以光速实时学习，成本不到50美元当来自不同目标的光通过D2NN时，研究人员使用深度学习来训练神经网络来学习每个目标产生的衍射光模式。“使用逐层制造的无源元件并通过光的衍射将各层互连，我们创建了一个独特的全光学平台，可以以光速执行机器学习任务。”研究小组组长、加州大学洛杉矶分校教授AydoganOzcan说。“这就像一个由玻璃和镜子组成的复杂迷宫。光线进入衍射网络并在迷宫周围反弹，直到离开该区域。该系统能够确定来自物体的大部分光线最终离开迷宫的路径。哪个目标”奥兹坎说。在实验中，研究人员将图像置于频率在太赫兹范围内的光源前。D2NN通过光学衍射观察图像。研究人员发现，该设备可以准确识别手写数字和衣服，这两种物体都是人工智能研究中常用的。图为D2NN设备识别文字。在训练过程中，研究人员还应该将该设备用作成像镜头，就像普通相机镜头一样。由于D2NN的组件可以通过3D打印以低成本制造，因此可以构建更大的规模和更多的层数，从而创建包含数亿个人工神经元（像素）的设备。更大的设备可以同时识别更多目标并执行更复杂的数据分析。D2NN组件很便宜。研究人员表示，他们使用的D2NN设备成本不到50美元。虽然这项研究使用的是太赫兹级光谱中的光，但Ozcan表示，还可以构建使用可见光、红外线或其他频谱的神经网络。他说，除了3D打印之外，还可以使用光刻或其他打印技术创建D2NN。用于全光衍射深度神经网络(D2NN)的3D打印衍射板D2NN的设计和性能：MNIST分类精度为91.75%在论文中，研究人员介绍了D2NN框架的技术细节、实验和测试性能。在D2NN全光深度学习框架中，神经网络是由多层衍射表面物理形成的，这些衍射表面协同工作以光学方式执行网络可以统计学习的任意功能。虽然这个物理网络的推理和预测机制都是光学的，但它的学习部分是由计算机完成的。研究人员将这个框架称为衍射深度神经网络（D2NN），并通过模拟和实验展示了其推理能力。D2NN可以通过使用多个透射和/或反射层来物理创建，其中给定层上的每个点都透射或反射入射光波，每个点代表一个人工神经元，通过光学衍射连接到后续层。如图1A所示。图1：衍射深度神经网络D2NND2NN中的人工神经元通过振幅和相位调制的二次波连接到下一层中的其他神经元。图1D是对标准深度神经网络的类比，其中每个点或神经元的传输或反射系数都可以看作是一个“偏差”项，这是一个可学习的网络参数，在训练过程中使用误差反向传播方法进行迭代调整。在这个数值训练阶段之后，D2NN的设计是固定的，每层神经元的传输或反射系数被确定。这种D2NN设计可以以光速执行它接受过训练的特定任务，仅使用不需要电源的光学衍射和无源光学组件或层，从而创建一种高效快速的方法来执行机器学习任务。一般来说，每个神经元的相位和振幅可以是可学习的参数，在每一层提供复值调制，从而提高衍射网络的推理性能。对于仅相位调制的相干传输网络，每一层都可以近似为一个薄的光学元件（图1）。通过深度学习，训练数据被馈送到输入层，网络的输出通过光学衍射计算。每层神经元的相位值被迭代调整（训练）以执行特定功能。在计算目标输出误差的基础上，通过误差反向传播算法对网络结构及其神经元相位值进行优化。误差反向传播算法是基于传统深度学习中的随机梯度下降法。D2NN性能：MNIST手写数字数据集为了演示D2NN框架的性能，我们首先将其训练为数字分类器，以自动对0到9的手写数字进行分类（图1B）。对于此任务，我们设计了一个五层D2NN，其中包含来自MNIST手写数字数据集的55K个图像（5000个验证图像）。我们将输入数字编码为D2NN输入域的大小，并训练衍射网络将输入数字映射到10个检测器区域，每个区域一个。分类准则是寻找光信号最好的检测器，相当于网络训练过程中的损失函数。训练后，使用来自MNIST测试数据集（未用作训练或验证图像集）的10,000张图像对D2NN数字分类器进行数值测试，并实现了91.75%的分类准确率（图3C）。基于这些数值结果，我们3D打印了这个5层D2NN设计（下图），每层面积为8cm×8cm，然后在衍射网络的输出平面定义了10个检测器区域（图.1B）。图2：3D打印D2NN的实验测试我们随后使用0.4THz的连续波照明测试了网络的推理性能（图2，C和D）。每层神经元的相位值都用3D打印神经元的相对厚度进行物理编码。这种5层D2NN设计的数值测试表明，在约10,000张测试图像上的分类准确率为91.75%（图3C）。图3：D2NN手写数字识别器的性能D2NN性能：Fashion-MNIST数据集接下来，为了测试D2NN框架的分类性能，研究人员使用了一个更复杂的图像数据集——Fashion-MNIST数据集，其中包含10个类别的时尚产品。D2NN在Fashion-MNIST数据集上的分类结果如下图所示。N=5衍射层的纯相位和复值D2NN的分类精度分别达到81.13%和86.33%。通过将衍射层数增加到N=10，神经元总数增加到400,000，D2NN的分类准确率提高到86.60%。相比之下，在现有研究中，基于卷积神经网络的标准深度学习使用约890万个可学习参数和约250万个神经元，实现了96.7%的最佳Fashion-MNIST分类精度。光神经网络的应用光电路的深度学习是一个重大突破，其实际应用也逐渐被报道。根据光学领域权威期刊Optica的报道，美国斯坦福大学的研究人员证明，人工神经网络可以直接在光学芯片上进行训练。这一重大突破表明，光学电路可以实现基于电子的人工神经网络的关键功能，以更便宜、更快速、更节能的方式执行语音识别和图像识别等复杂任务。不仅如此，另一组斯坦福研究人员还研发了小型AI成像系统，采用双层光电混合计算技术，成像精度和速度达到电子计算处理器水平。具体来说，研究人员在电子计算之前增加了一层光学计算。这套AI成像系统在弱光条件下具有更强的成像能力，每个体素上的光电子密度可达数十个。同时，节省了大量本应用于计算的时间和成本。加州大学洛杉矶分校研究团队专门针对这项研究表示，他们的D2NN设备可用于全光学图像分析、特征检测和对象分类任务，还可以实现使用D2NN执行任务的新相机设计和光学组件。例如，使用该技术的自动驾驶汽车可以立即对停车标志做出反应，而D2NN可以在接收到从标志衍射的光后读取标志信息。该技术还可用于对大量对象进行分类任务，例如在数百万个细胞样本中寻找疾病迹象。“这项研究为基于人工智能的无源设备开辟了新的机会，这些设备可以实时分析数据和图像并对物体进行分类，”Ozcan说。“这种光学人工神经网络设备直观地模仿了大脑处理信息的方式并且具有高度可扩展性，使其能够应用于新的相机设计和独特的光学组件设计，以及医疗技术、机器人、安全和其他领域。”论文：http://science.sciencemag.org/content/361/6406/1004参考链接：https://www.photonics.com/Articles/All-Optical_Diffractive_Deep_Neural_Network_Is/a63751https://newatlas.com/diffractive-deep-神经网络使用光来学习/55718/
