比深度神经网络快什么？或许光子DNN可以回答这个问题。现在，美国研究人员开发的光子深度神经网络（PDNN）让图像识别仅需1纳秒。1纳秒是什么概念？它等于10-9秒，可与最先进的微芯片的单个时钟周期（最小时间单位）相媲美。此外，研究人员测试发现，PDNN对图像的2分类和4分类准确率分别高达93.8%和89.8%。诚然，如今的大规模多层神经网络效率高，计算能力强，但也受到硬件的限制，往往会消耗大量的电力资源。宾夕法尼亚大学工程师开发的PDNN可以直接分析图像，无需时钟、传感器或大内存模块，有效降低能耗。与该研究相关的论文于6月1日发表在《自然》杂志上。光子DNN比传统DNN更快与传统DNN相比，光子DNN的原理和性能有何不同？先来看看传统的DNN：图a是传统DNN的结构示意图，包括一个数据排列单元，后面是一个输入层，几个隐藏层，以及一个提供分类输出的输出层。图b显示了传统N输入神经元的结构：输入的线性加权和，通过非线性激活函数，产生神经元的输出。图c和d分别是PDNN芯片的神经网络示意图和N输入神经元的结构。输入图像首先在一个5×6的光栅耦合器上形成，然后排列成4个重叠的子图像，子图像的像素传递给第一层神经元，形成一个卷积层。后续神经元完全连接到它们的前一层，网络产生2个输出，最多可以对4种图像信息进行分类。对于这些神经元，输入都是光信号。在每个神经元中，线性计算以光学方式执行，而非线性激活函数以光电方式实现，导致分类时间低于570ps(=0.57ns)。该论文的通讯作者、电气工程师FiroozAflatouni补充了对这个PDNN性能的描述：它每秒可以对近18亿张图像进行分类，而传统的视频帧率为每秒24到120帧。这里的PDNN芯片电路被集成在仅9.3mm2的面积内，不需要时钟、传感器和大内存模块。激光耦合到芯片中，为每个神经元提供光源；该芯片包含两个5×6的光栅耦合器，分别作为输入像素阵列和校准阵列。然而，每个神经元的馈光均匀分布提供了相同的输出范围，这显然可以扩展到更大规模的PDNN。光子DNN芯片图像分类测试研究人员让PDNN微芯片识别手写字母。一组实验测试了PDNN芯片的二进制分类性能：总共需要分类216个“p”和“d”字母。该芯片的准确率高于93.8%。((92.8%+94.9%)/2)另一组实验测试了PDNN芯片的四类性能：总共需要432个“p”、“d”、“a”、“t”字母测试。分类。该芯片的分类准确率高于89.8%。这些结果表明，PDNN芯片即使在更多类（例如四类情况）、打印机引起的变化和噪声的情况下也能实现高分类精度。为了比较这种PDNN和传统DNN的图像分类准确率，研究人员还使用Keras库测试了一个由190个神经元组成的DNN，使用Python实现，结果表明它在同一图像上的分类准确率为96%.作者简介该论文的第一作者FarshidAshtiani目前是宾夕法尼亚大学电气与系统工程系的博士后研究员。主要研究方向为光电子联合/混合集成系统。该论文的其他作者也来自宾夕法尼亚大学电气与系统工程系。去年，日本NTT研究所的一位科学家表示，光子计算可以降低神经网络计算的能耗，潜力巨大，很可能成为未来深度学习的重点发展目标。该研究背后的宾夕法尼亚大学工程师表示，PDNN对光学数据的直接、无时钟处理消除了模数转换和对大内存模块的需求，使下一代深度学习系统的神经网络更快、更节能。您如何看待光子深度神经网络的前景和应用？论文地址：https://www.nature.com/articles/s41586-022-04714-0#article-info
