目前，出现在新一代智能手机上的3D传感器只是机器学习引发的摄影技术浪潮的冰山一角。惊人的新元素。摄影在智能手机时代发生了变化，不仅是不同的姿势（比如自拍），而且是用手机摄像头捕捉光线的整个过程。相机不再只是镜头和传感器，它们还集成了一套算法，可以在瞬间处理图像，达到桌面软件需要数小时才能达到的照片效果。摄影已成为计算领域的一门科学。人工智能机器学习形式的持续进步将带来更多功能，使今天的智能手机照片变得过时。外媒认为，当今手机拍照技术的例子包括：Alphabet子公司谷歌的Pixel3智能手机照片，以及苹果的iPhoneX照片。在Pixel3上，谷歌使用机器学习在弱光条件下捕捉更多细节，让夜景看起来像白天。这些根本不是自然界中曾经存在过的照片，它们完全是超分辨率图片。从2017年推出iPhoneX开始，Apple添加了“散景”，它巧妙地模糊了焦外的元素，不是像传统摄影那样通过镜头本身的某些方面，而是通过计算和调整图像后的像素。“移轴”相机我们预计2019年和2020年的突破性发展可能会通过操纵图像的视角得到改善，希望这将纠正智能手机摄影中固有的失真问题，这使得智能手机在数码单反（DSLR）相机照片相比之下显得苍白。卷积神经网络(CNN)试图从单个图像重建现实的过程，实际上，它们可以实现类似于“移轴”相机的效果。在移轴相机中，镜头倾斜以补偿站在相机前的人的角度，从而校正由于人与场景之间的角度引起的图像失真。DSLR用户可以在不同供应商提供的各种可拆卸镜头中实现移位功能。典型的手机摄像头有一个非常小的镜筒，所以它捕捉到的一切都是扭曲的。在现实世界中，没有任何形状是恰到好处的。大多数人可能没有注意到，或者可能不在乎，因为他们已经习惯了在Instagram上自拍。但如果能改善这些扭曲就更好了。如果能够做到这一点，那么它将成为谷歌和苹果等公司下一轮智能手机的卖点。iPhone和其他手机将越来越多地配备带3D传感器的后置摄像头。这些传感器由LumentumHoldings等公司和其他芯片供应商制造，通过发出光束并计算它们在物体上反弹后如何返回手机来测量手机周围环境的深度。“飞行时间”等技术使手机能够详细测量周围环境的三维结构。这些传感器可以利用的是近年来为了解二维图像与现实世界之间的关系而进行的大量统计工作。谷歌Pixel3智能手机上的“夜景”功能已经完成了大量统计工作来实现移轴镜头的物理特性，无论是否有特殊的相机设置。例如，一种称为“随机采样共识”（RANSAC）的技术可以追溯到1981年，旨在寻找3D世界中可以映射到2D图像平面上的点的地标，以便了解2D图像和图像之间的关系三维真实世界。使用这种技术，可以更好地理解2D表示如何对应于现实世界。2015年，佛罗伦萨大学的一组研究人员基于RANSAC技术，通过对摄像头拍摄的照片进行逆向推理，推导出了云台变焦摄像头的结构。在多大程度上引入失真以有效地将控制相机的致动器调整到理想状态，他们可以将这种技术用于视频，而不仅仅是静止图像。2017年，德国埃尔兰根-纽伦堡大学和伍兹霍尔海洋研究所的研究人员展示了一个名为CameraTransform的Python库，它允许人们通过对拍摄的图像进行逆向计算来估计物体之间的距离。现实世界中的真实尺寸。四角观察：研究人员创建的神经网络用于推断图片中被遮挡的物体在被遮挡的场景中。被称为“分层深度图像”的技术通过从照片中移除对象来创建新场景，呈现相机从未见过的背景，但通过图像计算。该方法使用许多神经网络应用程序中常见的编码和解码方法来估计场景的深度，以及“生成对抗网络”（GAN）来构建拍摄照片时从未真正看到的场景部分.所有这些研究都在涌现，并将在配备3D传感器的下一代智能手机相机中达到顶峰，带来一些令人难以置信的功能。这种研究应该会产生惊人的结果。至少，可以想象用智能手机拍摄的人像不会再出现怪异的面部扭曲。建筑物的超分辨率图片将可以通过消除镜头上的所有失真来创建平行线。随着手机能够以惊人的精度和保真度制作照片，智能手机行业将能够在与数码单反相机的战斗中取得又一次胜利。但智能手机摄影的长期趋势当然是远离现实主义，转向更具戏剧性的效果。这在计算摄影诞生之前是不可想象的。因此，我们可能会看到3D传感技术的应用趋向于超现实。例如，移轴相机可以用来创造一些令人惊讶的漂亮效果，比如将景深缩小到一个极端的水平，这可以让风景看起来像玩具模型，但仍然效果出奇地好，一些手机应用程序可以做类似的东西，但将3D传感器与人工智能技术相结合将远远超出这些应用程序所能实现的范围。Photoshop有实现移轴的技术，但每次按下快门按钮，相机和相机都会产生相同的效果，无疑会更令人满意。仅靠人工智能可行吗？未来，机器学习技术的推进将迎来另一个重要阶段。有可能我们会放弃使用3D传感器，而只使用卷积神经网络(CNN)来推断物体在空间中的坐标，这将节省在手机中安装传感器的成本。然而，正如微软研究人员和学术合作者在本周发布的一份报告中所讨论的那样，这种纯软件方法目前收效甚微。他们写道，被称为“绝对姿势回归”的纯软件方法在训练后无法泛化，这意味着无论卷积神经网络掌握何种技术，它都不会泛化在用新图像进行测试时，它是无法准确估计几何形状。该报告的作者将他们的研究视为对纯软件方法的“重要健全性检查”。他们得出结论，“姿态回归方法距离实用还有很长的路要走。”这项工作将如何完成？不要仅仅依赖研究人员。这将需要许多智能手机用户的参与。使用带有3D传感器的新型手机，他们将能够拍摄令人印象深刻的3D传感增强图像。当他们这样做时，他们的设备或云将跟踪现实世界几何与二维图像之间的关系。换句话说，它将使用所有这些活动来继续学习，有一天，如果有足够多的3D图像，卷积神经网络或任何其他使用的算法将足够聪明，即使没有3D传感器也能看到世界，帮助提供深度感知，并且确切地知道世界是什么样的。
