当前位置: 首页 > 科技观察

图像分类40纳秒完成,图像传感器自带Nature上的神经网络

时间:2023-03-22 10:50:06 科技观察

AI芯片还能做什么?对自然的研究带来了新的启发。以往,我们的图像分类分为几个步骤:首先,我们用传感器采集图像模拟信号,进行数模转换,然后交给计算机进行处理。整个过程耗费大量精力和时间,就像眼睛向大脑发送图像一样。试想,如果人眼能够不经过大脑直接处理图像,那视觉图像信息的处理速度岂不是会大大提高?今天,《自然》的新研究开创了让“眼睛”直接处理图像的先河。而效果反馈也相当震撼:采用新型光敏元件,仅需40纳秒即可完成图像分类,比交给电脑处理要快几十万倍。太奇妙了。在光电二极管网络的核心部分,研究团队在芯片上构建了光电二极管网络,并选择二维半导体二硒化钨(WSe2)作为感光材料。△单个二硒化钨光电二极管示意图该光电二极管阵列由27个具有良好均匀性、可调性和线性度的探测器组成,排列成3×3的成像阵列,像素大小约为17×17μm,每个像素由三个二硒化钨光电二极管(子像素),其对光的响应度可以通过栅极电压进行调整。也就是说,半导体对光的响应可以通过改变施加的电压来调节,从而改变每个二极管的灵敏度。实际上,这将光电传感器网络变成了神经网络,结合了光学传感和神经形态计算,使其能够执行简单的计算任务。改变二极管的灵敏度等同于改变神经网络中的权重。将重量放在传感器上与其他神经不同的是,这套系统的重量并不存储在电脑的内存和硬盘中,而是直接集成在图像传感器上。实验中使用了由硒化钨光电二极管制成的特殊门电路。它的特殊之处在于可以调制,相当于神经网络的训练。外部偏置电压不同,二极管对光的敏感度也不同,相当于把网络的训练结果直接放在传感器端。之前的神经网络将训练权重存储在外部存储器中,并通过电路发送给各个检测设备。就像电脑的内存一样,一旦断电,存储的信息就会丢失。而这套设备更像是一块硬盘,即使断电也能存储重量信息。研究人员将调制电极(浮栅)埋入氮化硼绝缘层中,首先在氧化铝绝缘层中的栅极上施加电压,然后去除外部电压。在接下来的2300秒内,浮动栅极仍然能够维持光电二极管的调制,直到外部偏置电压发生变化。研究人员使用这种方法实现了两种类型的神经网络:分类器和自动编码器。在分类器中,光电二极管阵列、片上感知器和片外非线性激活函数协同工作。这种类型的神经网络代表一种监督学习算法,能够将输入图像P分类为不同的输出类别y。实际效果如何?他们制作了一组“粗略”的字母,像素为3×3,即n、v、z。图像传感器训练好后,只需要测量对应电路的电流是否为0就可以知道是哪个字母。从电压随时间变化图可以看出,当sensor接收到图像40ns后,n和v输入端产生的电压开始出现巨大差异,约100ns后差异达到最大值。第二种类型的神经网络是自动编码器,它在无监督训练过程中学习输入图像P的有效表示。它与解码器一起工作,解码器在经过训练后会在其输出中再现图像。编码器由光电二极管阵列本身组成,解码器由外部电子设备组成。在这个过程中,图像的传输数据被压缩。潜力巨大,但仍需大量后续研究。可以在40纳秒内区分两个不同的图像。AI视觉似乎更接近人脑的效率。但需要说明的是:这项激动人心的新技术离实际应用还有很长的路要走。首先,由于光电二极管阵列仅包含27个检测器,因此最多只能处理3×3图像。其次,要真正应用于自动驾驶和机器人,视觉系统需要捕捉具有广阔视野的3D动态图像和视频。现在,该技术将3D视觉信息转换为2D进行处理,丢失了运动信息和深度。其图像传感器阵列的平面形状也限制了广角相机的功能。此外,据《自然》报道,论文中描述的设备很难在昏暗的光线下成像。此外,与生物神经网络每次操作消耗10-15到10-13焦耳相比,它的设计需要高电压和功率。从技术角度来看,芯片所用的薄型半导体目前难以大面积生产和加工。而且,虽然图像传感器兼具采集和计算功能,减少了模数转换,但外部电路仍然存在固有的延迟问题,仍然会影响整个系统的等待时间。然而,尽管还有很大的研究空间,但传感器计算的相关研究促进了人工智能硬件的进一步发展。并且这样的研究思路不仅限于计算机视觉,还可以扩展到听觉、触觉等其他物理输入。其他尝试人们对快速处理图像信息的要求越来越高,许多科学家正在研究在输入端处理图像的方法。最近,荷兰和美国的学者也发明了一种直接在传感器端处理图像的方法。但是,它们不是输出图像的分类,而是输出图像的边缘,这对于目标检测和语义分割具有重要意义。他们在传感器前面添加了一个“超表面”:一块不到半毫米厚的蓝宝石薄片,上面涂有厚206纳米、高142纳米、间隔300纳米的硅条。当放置在CCD光敏芯片的表面上时,超表面就像一个透镜,只允许光线以陡峭的角度射入它,同时过滤掉入射角非常小的光线。图像的特征是由不同的光波组合形成的,这些特征会过滤掉光波携带的其他细节,只留下更清晰的成分,比如人脸的边缘,而不是单色背景。整个过程只需要150纳秒,但计算机处理需要几毫秒,两者相差4个数量级。研究团队最后介绍研究团队,来自奥地利维也纳科技大学Unterrainer组。论文第一作者:LukasMennel,电气工程与光子学专业博士生。他曾作为访问学者去麻省理工学院研究量子光子学。△LukasMennel论文的另一通讯作者是维也纳科技大学副教授ThomsMueller。虽然不知道这个ThomasMueller是不是擅长踢球,但是在二维材料科学领域,Mueller教授的研究涵盖了基础研究、光电器件、电子集成电路、光子集成电路等,而且他有取得了很大的成就。△ThomsMueller论文地址:https://www.nature.com/articles/s41586-020-2038-x