当前位置: 首页 > 科技观察

AI将光子时间转换为3D图像,通过时间可视化世界

时间:2023-03-17 01:05:01 科技观察

近日,Dr.领导的研究团队利用光子的时间信息而非空间坐标对光子进行成像。这种方法可以帮助汽车、移动设备和健康监测仪器通过人工智能将时间转换为三维空间视觉来提高360的认知能力。该研究“来自时间数据的空间图像”已发表在Optica杂志上。论文链接:https://arxiv.org/pdf/1912.01413.pdf通过光子的时间信息生成3D图像,成像速度快。在我们的生活中,照片和视频通常是通过使用数字传感器捕捉光子(光的组成部分)来产生的。例如,数码相机由数百万个像素组成,这些像素通过检测空间中每个点的光强度和颜色来形成图像。然后可以通过在其周围放置两个或多个相机,或通过使用光流扫描场景并将其重建为三个维度以生成3D图像,从多个角度拍摄对象。无论哪种方式,我们拍摄的照片和视频都只能通过收集有关场景的空间信息来构建图像。这次,研究人员使用有关光子的时间信息来生成3D图像。他们是如何做到的呢?他们的实验程序使用了一种简单且廉价的单像素检测器,该检测器经过调谐可充当光子的秒表。该检测器仅记录分秒激光脉冲产生的光子从任何给定场景中的每个物体反弹并到达传感器所需的时间。物体离得越远,每个反射光子到达传感器所需的时间就越长。有关场景中反射的每个光子的时间的信息,研究人员称之为时间数据,收集在一个非常简单的图表中。然后借助复杂的神经网络算法将这些地图转换为3D图像。研究人员通过向团队展示团队成员在实验室中移动和携带物体的数千张常规照片以及单像素探测器同时捕获的时间数据来训练算法。最终,该网络充分了解了时间数据如何与照片相对应,从而仅根据时间数据创建了高精度图像。在一项原理验证实验中,研究人员设法从时间数据中以每秒约10帧的速度构建运动图像,尽管使用的硬件和算法有可能每秒生成数千张图像。Turpin博士说,我们手机中的摄像头使用数百万像素来形成图像。如果仅考虑空间信息,则不可能仅从单个像素创建图像,因为单个像素检测器没有任何信息。然而,这样的检测器仍然可以提供关于时间的有价值的信息。我们设法做的是找到一种新方法,将一维数据(一种简单的时间测量)转换为表示任何给定场景中空间三个维度的移动图像。与传统图像制作不同的最重要方式是,该团队的研究方法能够将光与整个过程完全分离。“我们相信这种方法可以应用于任何可以用短脉冲探测场景并精确测量回波的系统,从而提供一种全新的方式来使用时间而不是光来可视化世界,”Turpin说。目前,神经网络创建图像的能力仅限于那些受过训练以从研究人员创建的场景的时间数据中挑选的人。但通过进一步的训练和更先进的算法,他们可以学习可视化各种场景,扩展他们在现实世界中的潜在应用。“收集时间数据的单像素探测器体积小、重量轻且价格低廉,这意味着它们可以很容易地添加到现有系统中,例如自动驾驶汽车中的摄像头,以提高寻路精度,”Turpin补充道。性和速度。它们可以增强移动设备中现有的传感器,例如GooglePixel4,这些设备已经具有基于雷达技术的简单手势识别系统。”