（英伟网，2021年12月27日）为了支持不同的功能，AR/VR系统一般可以配备不同类型的摄像头.例如，摄像头提供的视频图像可用于帮助AR/VR耳机用户感知现实世界，从而避免迷失方向和/或安全隐患。AR/VR系统可以以多种方式呈现相机捕获的视图。然而，通过前置摄像头图像提供逼真的环境视图的过程带来了许多挑战。由于多种原因，前置摄像头的排列方式很难做到一一对应，这就需要系统对前置摄像头的图像内容进行对齐。通常，为了执行对齐过程，系统需要详细的时间戳信息和姿态信息。但是，由于不同的相机可能工作在不同的时域，所以它们之间存在时间偏移。此外，时间戳数据有时根本不可用，因为相机可以彼此远程操作并且不传输时间戳数据。尽管对齐图像内容提供了很大的好处（尤其是在全息图放置和生成方面），但上述问题构成了某些障碍。在一份名为“分离相机的双系统光学对准”的专利申请中，微软描述了一种用于对准图像的方法和系统。集成相机和独立相机操作现在请注意图1。参见图3，其包括HMD305和它所在的环境300。在这种情况下，头戴式耳机305包括物理集成到头戴式耳机中的集成相机310。集成摄像头可以是各种类型的摄像头，例如可见光摄像头110、弱光摄像头115、热成像摄像头120，甚至紫外摄像头125。在一个示例中，集成相机310经由视场（FOV）315扫描环境300。如图。图3还示出了单独相机320的存在或使用。分离式相机是指可以从头显305物理分离的分离式相机320。例如，在某些情况下，可拆卸相机320可以被绑在或以其他方式放置在用户的胸部。在一种情况下，可拆卸相机320可以不放置在用户的身体上，而是放置在用户持有的物体上。作为示例，假设可拆卸相机320安装在自拍杆或另一种类型的延长杆上。如图。图3还示出了单独的相机320如何与其自身对应的FOV325相关联。此外，FOV315的至少一部分与FOV325重叠，如重叠部分330所示。覆盖图330允许一个实施例生成多个图像，然后将图像内容从一个图像覆盖到另一个图像上，以便生成合成图像或具有增强特征的覆盖图像。应该注意的是，尽管该专利主要关注两个图像的使用，但实施例能够将来自两个以上具有重叠区域的图像的内容对齐。例如，假设2、3、4、5、6、7、8、9甚至10张图像具有重叠的内容。实施例可以检查每个图像，然后将特定部分彼此对齐。由此产生的叠加图像然后可以是由可用图像的任何组合或排列形成的合成图像。因此，实施例可以利用任意数量的图像来执行操作，并且不限于仅两个图像。假设一体式摄像头310为微光摄像头，进一步假设分体式摄像头320为热像仪。所描述的实施例能够选择性地从热成像相机图像中提取图像内容并将图像内容叠加到由低光相机生成的图像上。就此而言，热成像内容可用于增强或补充低光图像内容，从而向用户提供增强的图像内容。如图。图4示出了由图3的集成相机310生成的结果图像。3.图像400的阴影是为了将该图像与任何其他图像区分开来。阴影不应被解释为表示集成相机图像400是任何特定类型的图像。通过分析包括在集成相机图像400中的内容，实施例能够确定耳机的姿势405（对应于图3中的耳机305）。例如，通过检测锚点（例如，被识别为相对静止或不移动的点），实施例可以确定耳机相对于周围环境的方向或姿态405。此外，可以为集成相机图像400确定时间戳410。时间戳410识别何时生成综合相机图像400。当然，时间戳410可以基于任何计时计算，包括例如由原子钟确定的绝对时间，或者可替代地，任何类型的相对时间，例如处理器时钟周期等。来自图3的集成相机310图3生成图像400并且集成相机310以特定刷新率415操作以生成新图像。刷新率415可以设置为任何值。然而，刷新率415通常至少在30hz和90hz之间。在一些情况下，刷新率415高于90hz，例如可能为120hz或更高。通常，刷新率415约为90hz。如图。图4还示出了由单独的相机320生成的图像420。在图。在图4中，单独的相机图像420被示为尺寸小于集成相机图像400，但尺寸差异仅用于说明目的。在一些情况下，单独相机图像420的分辨率可高于集成相机图像400的分辨率。在其他情况下，单独相机图像420的分辨率可能低于集成相机图像400的分辨率。在某些情况下，两个图像的分辨率可能相同。集成相机图像400（例如，第一图像）可以是可见光图像、低光图像或热图像中的一个。分割相机图像420（例如，第二图像）可以是可见光图像、低光图像或热图像中的不同图像，或者甚至可以是与第一图像相同类型的图像。根据图4，实施例可以分析分离的相机图像420中的内容以确定分离的相机320的姿势425。3.类似地，可以为分割相机图像420确定时间戳430。在一些情况下，时间戳410相对于时间戳430不同，或者反映不同的时间，使得两个图像可能具有时间偏移。单独的相机320可以具有其自己的刷新率435。刷新率435可以设置为任何值。不过435的刷新率通常至少在10hz到60hz之间。在某些情况下，刷新率435高于60hz，例如可能为90hz或120hz甚至更高。通常，刷新率435约为30hz。在一些情况下，刷新率435与刷新率415相同，而在其他情况下，刷新率435与刷新率415不同。当两个刷新率不同时，两个摄像头工作在不同的时域。关于姿势确定，图。图5示出了集成相机500。如图。图5还示出了手势505，其表示来自图4的手势405。4.根据所提出的原理，姿势505至少是指集成相机500相对于其环境的x-y-z位置。在一些情况下，姿势505可以包括详述六个自由度的信息。在一些情况下，姿势505可以包括详述三个自由度515的信息。可以使用诸如加速度计、陀螺仪和磁力计的内置传感器来确定六个自由度510和三个自由度515。同时位置跟踪传感器可用于确定六个自由度510。图像对应和对齐根据专利原理，实施例能够对齐图4中所示的集成相机图像400。图4与单独的相机图像420。如图所示。如图3所示，由于两个摄像头的至少一部分视野彼此重叠，所以至少一部分所得图像将包括相应的内容。因此，可以识别出对应的内容，然后可以基于相似的对应内容生成合并、融合或叠加的图像。通过生成叠加图像，实施例能够为用户提供增强的图像内容，图6示出了第一类型的对齐600，其可以用于对齐来自两个（或可能多于两个）不同图像的图像内容。如图。图6示出了代表来自图4的集成相机图像400的集成相机图像605。分离相机图像610代表来自图4的分离相机图像420。4.这两个图像通常被称为“纹理”图像。实施例可以分析纹理图像（即执行计算机视觉特征检测）以试图找到任意数量的特征点。如图。图6示出了综合相机图像605中的多个示例特征点，例如特征点615A、特征点620A和特征点625A。其他特征点用黑色圆圈标识但未标记。请注意，特征点与角、边缘或其他脊线相关联，例如毯子和枕头中的褶皱。可以对任何类型的特征检测器进行编程以识别特征点。在一种情况下，特征检测器可以是机器学习算法。可以使用任何数量的训练数据来训练机器学习算法以动态地执行所描述的操作。如图。图6还图示了实施例如何可以分析、检查或检查分割相机图像610以识别特征点，如黑圈所指示的。示例包括但不限于特征点615B、特征点620B和特征点625B。例如，一个实施例检测任意数量的特征点，然后尝试识别在集成相机图像605中检测到的特征点与在图像605中识别的特征点之间的相关性。例如，所识别的特征点615A链接或对应于与特征点615B的对应关系615C。类似地，已经识别对应关系620C，其中特征点620A被确定为对应于特征点620B。对应关系625C被识别，其中特征点625A被确定为对齐或对应于特征点625B。在一个实施例中，对齐过程600包括识别任意数量的特征点，然后识别两个（或更多）不同图像中的特征点之间的相关性或对应性。注意，在所描述的实现中，实施例避免确定分割相机图像610的姿态或时间戳。相反，实施例依赖于特征匹配来确定是否将图像内容从一个图像叠加到另一个图像上。然后，一个实施例将特征或图像对应关系630拟合到运动模型635，以便将一个图像叠加在另一个图像上以形成增强的叠加图像。运动模型635可以是任何类型的运动模型。通常，运动模型是将模型、已知场景或对象投影到不同模型、场景或对象上的变换矩阵。在一种情况下，运动模型635可以仅为旋转运动模型。通过旋转模型，实施例能够移动任意数量的像素以便将一个图像覆盖在另一个图像之上。例如，一旦图像对应被识别630，一个实施例就可以识别特征点或对应的像素坐标。一旦识别出坐标，实施例就可以使用上述旋转运动模型方法将分割相机图像610叠加到集成相机图像605上。在一种情况下，运动模型635可能更复杂，例如以相似变换模型的形式。如图。图7图示了另一个对齐操作700，其可以被执行以对齐来自两个图像的内容，使得内容可以被叠加以形成叠加图像。集成相机图像705包括纹理715。纹理715通常指的是关于图像中包括的颜色或强度的空间排列的信息。类似地，分割相机图像710被示为包括纹理720。基于对齐操作700，实施例确定集成相机图像705中的纹理715和/或分离相机图像710中的纹理720不足以执行特征匹配或图像对应匹配。例如，在两个图像中的任何一个中都可能检测到数量不足的特征点。或者，可以检测到足够数量的特征点，但可能识别出不足数量的对应关系。基于该初始确定，实施例求助于或回退到对齐操作700并利用由各种惯性测量单元（IMU）确定的预测或估计姿态。具体而言，生成集成相机图像的集成相机705与第一IMU725相关联。类似地，生成分割相机图像710的分割相机与第二IMU730相关联。所描述的实施例利用IMU725来确定集成相机的姿态并且利用IMU730来确定单独相机的姿态。一旦估计或确定了两个姿势，一个实施例就使用这些姿势来将图像的一个或多个部分彼此对齐。一旦对齐，一个图像的一个或多个部分就叠加在另一幅图像的相应部分上，以生成增强的叠加图像。相关专利：微软专利|分离式相机的双系统光学对准微软的专利申请名为“分离式相机的双系统光学对准”，最初于2020年6月提交，几天前由美国专利商标局公布。
