新的Apple耳机专利:使用头部运动传感器进行眼动追踪在虚拟和混合或增强现实(VR/AR)应用程序中进行眼动追踪的各种方法和设备。VR/AR系统可以包括诸如头戴式显示器、护目镜或眼镜的设备(这里称为头戴式设备HMD),其包括用于显示内容的显示器(例如,左显示器和右显示器)将左图像和右图像呈现在用户眼前,从而为用户提供三维(3D)虚拟视图。VR/AR系统可以包括眼睛跟踪(也称为注视跟踪)。提供准确眼动追踪的关键是了解用户的眼睛相对于追踪摄像头的位置。在眼睛跟踪系统的一些实施例中,为了准确地确定用户眼睛的位置,控制器可以执行算法,该算法使用眼睛跟踪相机捕获的图像来执行三维(3D)重建以生成用户眼睛的3D模型。这个3D模型能够指示眼睛相对于跟踪相机的3D位置,这使得控制器执行的跟踪算法能够准确地跟踪眼睛的运动。该专利描述了一种用于跟踪用户头部相对运动的方法和设备,其中传感器(本文称为头部运动传感器或头部里程计)被放置在设备内或设备上的一个或多个位置。靠近用户耳朵的传感器主要用于跟踪音高,而位于鼻梁处或附近的传感器主要用于跟踪y轴运动。来自头部运动传感器的信号可用于检测设备相对于用户眼睛的运动。该系统仅在检测到设备相对于用户眼睛的运动时才允许执行3D重建,从而大大降低了眼动追踪系统的功耗。图片来源:patentlyappleApple的专利图2显示了一个实施眼动追踪系统的VR/ARHMD示例,该系统包括用于检测HMD相对于用户眼睛移动的传感器;图3是跟踪方法的眼动追踪流程图,其中传感器用于检测HMD相对于用户眼睛的运动,并且仅当检测到HMD的运动时才执行3D重建。图片来源:patentlyapple苹果的专利图。图12示出了示例性VR/AR系统的框图,包括图11和11中所示的眼睛跟踪系统的组件。1和2。图11是眼球追踪方法的流程图,其中头部运动传感器用于检测HMD相对于用户眼睛的运动,并且眼球运动传感器用于处理由眼球追踪相机捕获的帧。有关该专利的更多详细信息,请参阅苹果的专利申请号20210081039。考虑到这是一项专利申请,目前尚不清楚何时会推出具有此类功能的设备。
