近日，普林斯顿研究人员提出了全球首个高质量微米级光学成像设备“NeuralNano-Optics”，并发表于自然通讯。与体积大50万倍的相机镜头相比，成像效果在很多场景都可以匹敌！看，一朵蓝色的花正在缓缓绽放，层层叠叠的花瓣像海浪。另一朵紫色的花绽放的瞬间也很美。但这些图像的真正美不是花朵，而是捕捉它们的相机镜头。镜头在手，就是这样。一个很小的方形薄片，边长大约是几个指纹的宽度！还有更夸张的。传统的光学镜头，比如Apple的iPhoneX，有一个看起来像这样的后置镜头。仔细一看，其实是一个后置镜头里堆叠了好几层镜片。因此，这种大尺寸的光学元件必然很重并且占用很大的面积。又或者，用这块小小的方片来和配备大容量复折射镜头的传统相机进行比较？结果是惊人的！在显微摄影方面，这个小薄片既能还原物体，又能还原一叠镜头，画面更加明亮。在广角拍摄中，这一小块依旧无法与传统的大尺寸相机相抗衡，但建筑的轮廓却全方位还原。这个小薄片叫做“NeuralNano-Optics”，学名是“metasurfaceoptics”，意为超表面光学。看到中间白色的部分了吗，没错，这就是成像设备。只有一粒粗盐那么大！在成像效果方面，研究人员表示，“神经纳米光学”和爱特蒙特光学50mmF2.0镜头，尺寸放大了50万倍，在很多场景下都可以匹配（不是我说的，而是原版的）文字与)相提并论。小相机有多神奇？近几十年来，光敏元件的小型化使得相机被用于各种领域，包括医学成像、智能手机、机器人和自动驾驶。然而，如果光学成像仪可以做得比现在小一个数量级，它就可以在纳米机器人、体内成像、增强/虚拟现实和健康监测方面开辟许多新的应用。近日，普林斯顿大学的研究人员提出了世界上第一个高质量的超小型光学成像设备“NeuralNano-Optics”，并发表在NatureCommunications上。这款相机具有全色（400到700nm）覆盖范围，40度宽视场成像，光圈为F2.0。论文地址：https://light.cs.princeton.edu/wp-content/uploads/2021/11/NeuralNanoOptics.pdf项目地址：https://github.com/princeton-computational-imaging/Neural_Nano-Optics《神经Nano-Optics”优于所有现有的最先进的超表面透镜设计，是世界上第一个实现高质量、宽视场彩色成像的超表面光学成像仪。超表面是一种厚度小于波长的超薄人造结构，可以灵活有效地控制电磁波的偏振、振幅、相位、偏振模式和传播模式等特性。通常，传统光学元件的物理尺寸很大。这是因为传统镜头通过弯曲光波来工作。当光波穿过透镜时，它会在透镜的不同部分以不同的角度折射。通常，工程师将单个透镜堆叠在一起（称为复合透镜）以特定方式引导和控制光线。典型的凸（会聚）透镜将光波弯曲以在焦点处会聚（来源：MiniPhysics）由于传统成像系统必须由一系列像差校正折射元件组成，因此这些笨重的透镜必然会使相机受到更多限制。传统成像的另一大障碍是难以减小焦距，因为这会导致更大的色差。超表面光学通过其不同的结构与光相互作用，并且可以通过极薄的平面结构实现相同的效果。缩小镜头的问题解决了，那传感器呢？事实上，具有亚微米像素的光学传感器已经存在，但其成像效果受到传统光学理论的限制。因此，简单地将传感器变小并不能完全解决问题。由于光圈和孔径的限制，现有的亚微米像素传感器获得的图像质量远不如大型光学相机。普林斯顿的研究人员是如何突破这个难关的呢？答案必须是人工智能！在这项工作中，作者提出了NeuralNano-Optics，表面只是一个小型的成像设备，但背后有一个完全可微分的深度学习框架，结合基于神经特征的图像重建算法，进而学习到超表面。物理结构实现了比SOTA低一个数量级的重建误差。超表面代理模型的作者通过使用一个高效的可微代理函数来学习，该函数将相位值映射到空间变化的PSF（PSF是点扩散函数的缩写，或点扩散函数）。所提出的可微超表面图像形成模型（图e）由三个连续的可微张量运算阶段组成：超表面相位确定、PSF模拟和卷积以及传感器噪声。在他们的模型中，决定超曲面相位的多项式系数是可优化变量。最佳超曲面相位函数φ以距光轴的距离r作为自变量，写成如下函数：其中{a0,…an}是可优化系数，R是相位掩膜半径，n是多项式项的数量。在此相位函数的基础上优化超曲面，而不是以逐个像素的方式进行优化，旨在避免局部最小值。当将这种可微方法神经纳米光学与时域有限差分模拟等替代正向模拟方法进行比较时，两者的精度是近似的，但可微方法神经纳米光学优于全波模拟，如FTDT。方法效率提高3000倍，内存效率更高。除了这些，可微框架NeuralNano-Optics还有几个技术亮点。基于特征的反卷积为了从测量数据中恢复图像，作者提出了一种基于特征的神经反卷积方法，该方法结合了学习到的先验知识并推广到看不见的测试数据。具体来说，该方法采用可微逆滤波器和神经网络进行特征提取和细化。这种方法能够学习有效的特征，以利用功率谱的知识来促进基于物理的反卷积以实现更好的泛化。形式上，特征传播反卷积网络进行了如下操作：从结果来看，特征传播反卷积网络的重构能力较之前的方法有了质的飞跃。端到端学习配备超表面代理和神经反卷积模型，以及完全可微分的成像管道，可以以端到端的方式设计纳米相机。可微框架NeuralNano-Optics的学习方法及相应的优化过程NeuralNano-Optics端到端的训练优化过程是这样的。训练优化示意图训练完成后，使用NeuralNano-Optics系统获得高质量的全彩图像。与现有最先进的设计相比，NeuralNano-Optics可以生成高质量的宽FOV重建图像色差消除(DLAC)小f数和大带宽四大特点。优化的元光学设计让这款超紧凑型相机达到了前所未有的水平。它可以在广阔的视野中捕捉全彩色图像，并实现了500微米的最大孔径。也是目前最大的超光学镜头，可以增光。采集量。为了正式量化设计规格，研究人员提出了一种称为衍射透镜色差消除能力(DLAC)的新指标。NeuralNano-Optics再次取得优异成绩，以250DLAC的成绩排名第一。神经纳米光学应用神经纳米光学有可能彻底改变相机、显示器和其他光学设备。一些令人兴奋的潜在应用包括：AR/VR/MR——XR系统开发人员仍在努力应对将大型硬件系统集成到头显中的挑战。神经纳米光学有望将微型光学器件集成到小型、高性能、轻便的耳机和智能眼镜中。医学——NeuralNano-Optics增强的光学能力使诊断成像比以往任何时候都更加精确，也可以搭载在更高分辨率的成像工具（如内窥镜）和新型显微镜上，使放射科医师、内科医师和实验室技术人员能够能够看到以前看不到的细节。
