对焦基本靠手,变焦基本靠走路,虚化基本靠抖,防抖基本靠手肘,测光基本靠看,除尘基本靠看嘴,模特基本没有,都是因为镜头太狗。这是摄影圈里一个耳熟能详的笑话,但万万没想到的是,NVIDIA 和加州大学却拿出了真正可靠的计算变焦技术(Computational Zoom)。 严格来说,“变焦基本靠运动”这句话是完全错误的。变焦是指改变镜头的焦距。
对于定焦镜头来说,焦距是固定的,不会因为移动而改变。对于变焦镜头,焦距是固定的。据说可调焦距是在一定范围内的,并且焦距范围不会因为移动而改变。改变运动的是镜头的实时放大倍率。
镜头放大倍数是指在胶片/传感器表面获得的图像尺寸与实际尺寸的比率。放大倍率有最大值,但没有最小值。随着相机不断靠近拍摄对象,拍摄对象所占画面的比例越来越大,这意味着放大倍数不断增加。
效果就像是通过镜头变焦来增加远处被摄体占据画面空间的比例,所以就有了这句话“变焦基本靠走”。 除了让远处的拍摄对象“变大”之外,变焦更重要的价值在于利用不同焦段的透视效果来达到不同的表现效果。下图是佳能官方出品的原理图。通过比较我们可以发现,即使被摄体(人像)占据屏幕的比例相似(相似的放大倍率),人物图像和背景效果也会有很大差异。
比如16mm时,人像呈现“蛇脸”,背景内容非常丰富,有远近的透视效果;但在100mm时,脸部立体感大大降低,背景很小,画面前后空间感觉被压缩。 NVIDIA与加州大学合作开发的计算变焦技术,是通过“移动”相机,在镜头焦距不变的情况下进行多次拍摄,从而实现不同焦距的透视效果。 计算变焦的关键是后期计算,但前期捕捉图像信息同样重要。
2017年,双摄像头是智能手机最热门的功能。如今,大多数双摄像头都是由广角镜头和中长镜头组成。
成像时,两颗镜头同时拍摄,中间区域重叠。通过后处理和合成,可以得到类似的图像。
光学变焦效果(见下图)。这样做的好处是不用移动就可以改变焦距,缺点是变焦范围很小。如今的双摄智能手机只能实现2倍光学变焦,而且要付出两倍的硬件成本。 手机上的双摄通过视角差异带来的图像信息差异计算深度信息,模拟光学变焦的效果。
那是否意味着即使前后两幅图像的视角存在差异,捕捉到的图像信息存在差异,也能达到同样的效果呢?答案是肯定的,NVIDIA的计算变焦也做到了这一点。 即使焦距不变,当拍摄距离改变时也会出现不同的透视效果,图像信息也会随之变化。
如果相机沿着相机和被摄体之间的连线移动,前后拍摄的两张照片就会出现视角的差异,被摄体的放大倍率和背景信息也会不同。通过计算可以得到粗略的距离信息。如果运动时拍摄的照片数据足够多,距离信息就会足够准确,这样就可以获得整个场景中不同场景的距离,从而实现高倍率准光学变焦。
下图是计算缩放后处理的截图。界面上有两个FOV(视角)和两个Depth(深度)参数可调。 FOV 用于控制主体和背景之间的视野。深度 用于控制不同主体的空间位置。
四个参数组合可以实现变焦效果,而且变焦范围非常大。 因为照片中不同场景的距离信息是已知的,计算变焦也能达到与双摄相同的大光圈散景效果。与双摄像头相比,计算变焦处理的照片数量大大增加,计算模式更加复杂,对处理器的要求更高。
因此,NVIDIA采用自家的GPU进行处理,依靠GPU强大的并发处理能力来满足计算变焦的需求。 无需额外镜头和 CMO 传感器的成本,计算变焦可以将定焦镜头变成变焦镜头。相信很多摄影爱好者都会感动和兴奋。
以当今数码相机的计算能力来进行计算变焦太困难了,而且拍摄道路并不总是向前的。短期内没有希望用计算变焦来取代变焦镜头。无人机和自动驾驶是计算变焦真正发挥作用的地方。
。为了控制重量并兼顾图像质量,大多数无人机都采用大光量的广角定焦镜头。借助数码变焦,无人机可以轻松拍摄中长焦照片。
自动驾驶时可以利用数字变焦来计算前方场景的距离,输出的图像不仅具有宽视角和平坦的视角,就像人眼看到的一样,这非常有利于人工智能和人类眼睛根据图像判断距离。