当前位置: 首页 > 科技观察

剪掉20%的刘海,苹果“挤牙膏”的背后:屏下3D视觉技术的痛与痛

时间:2023-03-14 23:52:00 科技观察

在刚刚过去的苹果发布会上,新iPhone的一大亮点就是:刘海被剪掉了减少20%。对于那些“久受刘海之苦”的人来说,20%几乎没有任何变化,所以也被调侃成挤牙膏的设计。不过,从技术角度来看,这20%来之不易。因为在这块刘海中,一共有前置摄像头、麦克风、激光发射器等8个重要部件。其中,对FaceID功能和前置摄像头起决定性作用的主要部件有两个:激光发射模块和接收设备。“从结构光的基本原理来看,激光发射器和接收设备之间必须有一定的距离,才能保持成像精度,等效距离越长,精度越高,反之亦然。这是苹果的保留notch根本原因。”光见科技首席科学家卢方录告诉AI掘金,此前在iPhone12上,这个距离约为27mm,这次刘海减少了20%,苹果官方表示,这“得益于技术的引入比如传感器重排和微缝听筒。”“如果要缩短等效距离,同时保持精度,技术上难度会很大。”卢方禄表示,苹果应该采取另一种方法,那就是优化其3D人脸算法模型通过积累人脸数据,放宽3D人脸算法模型对3D成像的精度要求,换句话说就是用算法来弥补传感器重排带来的数据感知带来的精度问题,这其实是一个tricky方法,要求比较高,必须有大量的人脸数据做支撑,算法要不断优化。。但是这种方法不可重现。st,算法本身存在缺陷,需要不断地用数据进行反馈和调整;二是人脸数据采集监管日趋严格。其实最好的方案就是将原来的摄像头模组放在屏下,也就是业内常说的“屏下结构光方案”。这既顺应了全面屏的发展趋势,又解决了因缩短激光发射器和接收设备之间的距离而导致的成像精度低的问题。早在今年2月,光见科技与中兴移动就推出了全球首创的屏下结构光技术,引起了大众的关注。卢方录表示,屏下3D技术已经达到量产要求,但这项技术在具体机型上还涉及到产品化的开发和优化,所以还没有量产。而且,屏下3D技术还有一些问题需要解决。透光率:屏下结构光的致命弱点在说屏下结构光之前,我们先简单说一下iPhone3D结构光的技术原理。3D结构光模块包括发射器(点阵投影仪和泛光传感元件)和接收器(红外摄像头)。其原理是:激光发射器发射特定波长的近红外光,形成一束窄截面积的平行光束,经过扩束镜后,其截面积被均匀放大;放大后的光束经准直透镜平行化,均匀入射到光学导数元件(DOE)上,光束在通过器件时形成特定的光学图案,再通过投影透镜出射;当这些光束投射到物体表面时,光信号会发生变化;接收端(摄像头)接收到这些变化后,会计算物体的位置和深度,然后通过特定的算法还原三维空间。泛光照射器由低功率VCSEL激光器和扩散器组成。它的作用是发射不可见的红外光,使红外摄像头在黑暗中接收到人脸反射的点阵图案。屏下结构光其实就是将包含这些组件的摄像头模组放置在一块“透明”屏幕下,既能保持摄像头功能,又能最大限度地利用屏幕面积。但随之而来的问题是:这块透明屏幕对摄像头模组的成像精度影响有多大?如何弥补光线通过屏幕造成的能量损失?光从激光发射器发出并到达物体表面。当它被传感器吸收时,它要穿过屏幕两次,这会造成能量损失。这就是屏??下结构光所面临的“透光率”问题。“对于红外线,现在的屏幕经过特殊处理后,透光率在30%左右,甚至更低。”卢方录表示,OLED屏幕只能用于屏下结构光,因为OLED是一种会发光的有机材料。,不需要像LCD那样的背光。但是,有机发光材料需要电流才能发光,而电极层一般是不透明的,所以当激光发射器发出的光通过屏幕时,大部分光会被电极层阻挡或散射,从而导致只有可用的光非常小的一部分。另外,当光线穿过屏幕时,由于屏幕本身是周期性结构,像素点不断重复,会造成衍射效应。例如,一束光会衍射成几束光,光的传播方向也会发生变化。做作的。在实际场景中,透光率也会受到各种噪声的影响。例如,在户外,太阳光中的红外线照射到人的面部时,会变成激光发射器发出的红外线能量的噪声。如果激光发射器的能量不够,就会受到噪声的干扰,严重影响成像效果。“屏下结构光首先要保证屏幕效果正常,不能影响用户体验。在这种情况下,解决透光率问题是最大的难点。卢方录表示,这也是阻碍屏下结构光“量产”的根本原因。三个解决方案:屏幕、元器件、算法问题已经提出,剩下的就是寻找案例的解决方案。屏下结构光最大的问题就是“透光率”。这个问题可以从三个维度来解决。一是从OLED屏幕入手,提高面板透光率,或者定制屏幕。比如三星推出的折叠屏手机,采用的就是UPC(UnderPanelCamera)技术,其核心是提高面板透光率、优化像素孔径的“EcoOLED”。虽然提高透光率和定制屏幕是最直接有效的解决方案,但这取决于面板技术的进步,涉及面板供应商、屏下结构光方案提供商和手机厂商之间的合作。“屏幕从设计研发到实际使用的周期比较长。”吕方禄表示,在面板技术取得突破性突破和大规模应用之前,需要另辟蹊径来提高透光率。二是从设备模块入手。由于光在通过屏幕时会损失掉,因此可以用发射器增强光的能量来抵消这部分能量消耗。就像一个10瓦的灯泡,光的能量无法与100瓦的灯泡相提并论。但这种方法的症结在于,要增加光的能量,就必须增加Power,进而增加功耗。如何在不增加能耗的情况下增加光能是本方案的核心,也是技术难点。三是用算法来做补偿。接收端接收到光信息后,会进行计算,会用到一种算法。然后可以优化算法以补偿部分由“透光率”引起的能量损失。如果数据量足够大,算法足够成熟,可以降低对成像精度的要求。例如,AppleFaceID利用人脸数据优化3D算法模型。这种方法的缺点也很明显:需要大量的数据,而且算法在面对特定场景时也会出现偏差。这三种方案,虽然从不同的方面来提高“透光率”,但实际上是相互交叉的。例如,面板定制必须适配设备模组,结合算法;虽然相关算法可以优化成像精度,但只能作为辅助。”实现屏下结构光的量产,其实需要整个产业链的配合和进步。卢方禄表示。屏幕结构光从刘海屏变成了打孔屏,缩小刘海来扩大屏幕的使用面积,最终实现全面屏,一直是手机厂商的终极目标。屏下3D结构光被认为是最佳方案。虽然有一个“透光率”的问题亟待解决,但方法总是比问题多。以上三种方案其实可以解决很大一部分困难。然而,国内厂商要想研发出屏下结构光,还面临技术之外的一大关卡:专利。3D结构光需要激光发射器发射数以万计的激光散斑,这对激光器本身的性能和功耗有很高的要求。目前基本采用VCSEL激光发射器;此外,光还必须经过导数光学器件(DOE)对光进行“衍射”和“切片”,才能实现投射激光散斑的功能。遗憾的是,VCSEL激光器和衍射光学元件(DOE)这两大元器件的制造基本上被美国、英国和台湾的厂商垄断。目前国内只有三安光电可以生产VCSEL芯片。苹果无疑是“VCSEL+DOE”3D结构光方案的核心受益者,也掌握着这项技术的专利。在专利保护日益受到重视的背景下,这给苹果以外的厂商留下了一个难题:如何做出具有完整知识产权的解决方案?光见科技对此的解决方案是:采用边发射激光器(EEL)作为光源,然后利用自主研发的波前调制器(WFP),通过实现对sub上光场的调制,实现投射激光散斑的功能-波长尺度。该方法规避了“VCSEL+DOE”的技术专利。边发射激光器(EEL)的工艺技术相对成熟,成本也可控。国内厂商具备相应的生产能力。“光剑科技的WFP芯片,制程工艺在250nm左右,国内厂商已经实现量产。”卢芳露说道。针对屏下结构光的难点,光见科技主要在器件模组和算法上进行突破,通过与OLED屏厂商的长期研发合作,实现3D效果和屏幕显示效果的优化。在元器件方面,光剑科技提升了激光发射模块从电到光的整体转换效率,即提升光在发射端的能量;同时,基于EEL边缘发射激光器,缩短脉冲,增加光强。从而补偿“透光率”造成的能量损失。据悉,其激光发射模块从电到光的整体转换效率比VSCEL方案提高了80%;而EEL边光发射器每个脉冲的亮度约为VSCEL方案的4倍。在算法方面,光见科技通过自研算法实现激光信息的构建,在保持相同效果的同时降低算力,无需依赖ASIC芯片,降低计算成本。“光剑科技与苹果有着不同的技术路径,避免了与苹果发生专利冲突的风险,并实现了核心零部件的国产化。”卢方录表示,国内厂商也在进行技术创新,比如欧比中光,屏下3D技术越来越受到关注。小结从苹果采用3D结构光的FaceID,到现在业界大力推广的全面屏,“刘海”不断缩小的背后,是技术的不断变革和进化。“未来,视觉必然会从2D转向3D,因为3D的信息更丰富、更全面。”卢方录表示,3D信息可以简化计算量,不需要过多的数据收集和模型训练。屏下3D结构光是全面屏的核心技术。虽然该技术本身仍有困难需要克服,国产化能力有待加强,但应用前景较为乐观。“未来一两年,屏下3D结构光技术应该可以大规模应用。”本文转载自雷锋网。