论文中，来自加州大学河滨分校机械工程系的研究人员通过应用光学论证了混合计算机视觉系统的可行性漩涡。该研究为光子学在构建通用小脑混合神经网络和开发用于大数据分析的实时硬件中的作用提供了新的见解。图像分析在现代技术中无处不在，从医学诊断到自动驾驶再到面部识别。使用深度学习卷积神经网络的计算机彻底改变了计算机视觉。但是卷积神经网络(CNN)通过从经常记住或产生某些偏差的预训练数据中学习来对图像进行分类。此外，数据也容易受到对抗性攻击（以微妙且几乎无法察觉的图像扭曲的形式），从而导致错误的决策。这些缺点限制了卷积神经网络的实用性。提高图像处理算法的能效和可靠性的一种方法是将传统的计算机视觉与光学预处理器相结合。这种混合系统可以使用最少的电子硬件。由于光在预处理阶段执行数学函数而不会耗散能量，因此使用混合计算机视觉系统可以节省大量时间和精力。这种新方法能够克服深度学习的缺点，充分利用光学和电子学的优势。在8月发表在Optica上的一篇论文中，加州大学河滨分校机械工程系助理教授LuatVuong和博士BaurzhanMuminov。学生证明了混合计算机视觉系统的可行性。光学涡流可以比作光在边缘和角落传播时产生的流体动力涡流。论文链接：https://www.osapublishing.org/optica/fulltext.cfm?uri=optica-7-9-1079&id=437484研究表明，光学预处理可以降低图像计算的功耗，而数字化电子设备信号识别相关性，提供优化并快速计算可靠的决策阈值。在混合计算机视觉中，光学具有速度快和计算功耗低的优势，并且比CNN的时间成本低2个数量级。通过图像压缩，可以在存储和计算复杂性方面大幅减少电子后端硬件。“这项研究中的涡旋编码器表明，光学预处理可以消除对CNN的需求，比CNN更强大，并且可以推广逆问题的解决方案，”LuatVuong说。例如，当混合神经网络学习手写数字的形状时，它可以重建它以前从未见过的阿拉伯语或日语字符。该论文还表明，将图像缩小为更少的高强度像素可以在极低光照条件下进行图像处理。该研究为光子学在构建通用小脑混合神经网络和开发用于大数据分析的实时硬件中的作用提供了新的见解。论文简介深度学习卷积神经网络通常涉及具有高计算成本的多层、前向-后向传播机器学习算法。因此，在这篇论文中，研究人员展示了一种替代卷积神经网络的方法，它可以从经过光学预处理的傅立叶编码模式中重建原始图像。该方案对计算的要求要低得多，对噪声的鲁棒性更强，使其适合高速和低光条件下的成像。具体来说，该研究引入了涡旋相变与微透镜阵列和浅层密集“小脑”神经网络的组合。单次编码孔径方法利用相干衍射、紧凑表征和傅立叶变换螺旋相位梯度的边缘增强。使用涡旋编码训练小脑去卷积图像比使用随机编码方案快5到20倍，在存在噪声的情况下具有更大的优势。一旦经过训练，小脑就可以从仅强度数据重建对象，从而解决逆映射问题，而无需对每个图像执行迭代，也不需要深度学习方案。使用涡旋傅立叶编码，研究人员在15WCPU上以每秒数千帧的速度重建了用低光通量(5nJ/cm^2)照明的MNIST时尚对象。最终，研究人员证明，使用涡旋编码器进行傅里叶光学预处理比卷积神经网络快2个数量级，同时达到相似的精度。可以扩展涡旋知识以理解任意波形。旋转时，光学图像数据以突出显示和混合光学图像的不同部分的方式传播。研究人员指出，使用只需要运行几层算法的浅层“小脑”神经网络预处理漩涡图像可以取代CNN。Vuong还说：“光学涡旋的独特优势在于其数学和边缘增强能力。在本文中，我们证明了光学涡旋编码器可以从其光学预处理模式快速重建原始图像，其方式类似于小脑神经网络。”生成目标强度数据的方法。"Methodology图1描述了这项研究的成像方案，其中物体F(r,Φ)的多个图像被收集到傅立叶域中：通过每个微透镜传输的光由不同的涡旋和透镜掩模图案M_m(r,Φ)modulation;cameradetectionFresnelpropagation,vortex-Fourier-transformedintensitypatternscaledmodulosquaredimagepicture.其中m为涡旋拓扑电荷，r和Φ为实域柱坐标，u和v为傅里叶平面笛卡尔坐标。旋转的傅立叶强度模式F^~集中在一个相对较小的区域，但随着m的增加，通常呈越来越宽的甜甜圈形状（图1（b））。“实域”中的涡旋相位对象在空间上编码并打破了傅立叶变换强度模式的平移不变性，如图1(c)所示。此外，该研究将一些小图像数据集视为对象输入，并比较F(r,Φ）。对于每个正实值数据集图像X，相位变化映射如下：其中α_0是对象相移的动态范围。这种映射很方便，因为信号功率不会随着X的选择而改变。研究人员还考虑了不透明物体，即图片，当X被遮挡或吸收信号时，会导致类似的趋势。归根结底，本研究主要有3个创新点：（1）利用涡旋透镜对光谱特征进行边缘增强；(2)在没有相似性学习数据集的情况下快速逆重建图像；(3)layeractivation-dependentNoiseimmunity。感兴趣的读者可以阅读论文原文，进一步了解研究内容。
