本文经AI新媒体量子比特（公众号ID：QbitAI）授权转载，转载请联系出处。想研究可微分渲染，又担心找不到合适的框架？现在，全球首个正式支持可微分渲染的深度学习框架来了：清华自主研发的“Jittor”深度学习框架更新版新增了可微分渲染库。可微分渲染是计算机图形学中的一个热门领域。CVPR2020最佳论文奖授予可微分渲染相关工作（Jittor已优化开源相关代码）。当然，作为一个专注于计算机图形学的深度学习框架，Jittor此次的更新也是“顺势而为”，加入了最新的VisionTransformer等模块，其性能优化远优于PyTorch等框架。让我们来看看。可微渲染，图像重建工具渲染到底是什么？简单地说，“渲染”通常是指将3D场景转换为2D图像的过程。对于人眼来说，这种事情是很容易的，因为现实世界中有很多自然光，人眼可以通过光的反射看到各个方向物体的深度和形状。但是，电脑眼中的3D场景，并没有现实世界中的各种光。在这种情况下，生成的二维图像不仅没有参数，而且其形状也容易出错。那么，直接在电脑里模拟所有来自四面八方的光线？计算量太大。因此，为了使计算机生成的图像更好，即生成更快、更真实的接近人眼所见的二维图像，“渲染”是目前图形学中的一个重要研究领域，通常用于方向，例如制作动画电影。:那么，可微分渲染呢？这有点像“渲染”的“逆向操作”，从2D图像生成需要的3D场景信息，包括3D几何、光照、材质、透视等。在用深度学习生成3D场景的过程中，还需要梯度下降优化算法，其中会用到可微渲染。目前在图像领域，可微分渲染还是一个很新颖的方向，但相比之下，一直没有深度学习框架建立相关的库，方便可微分渲染的相关工作。清华“极图”继发布实例分割模型库和3D点云模型库后，现正式发布可微分渲染库，支持obj的加载保存和三角网格模型的渲染。另外，这个可微渲染库内置了两个主流的可微渲染器，支持多材质渲染。与PyTorch相比，速度提升了1.49~13.04倍。当然，本次“方案”的更新带来的惊喜可不止这些。视觉玩家福音：训练速度比PyTorch更快。在NLP领域取得最佳表现后，Transformer又进军图像领域。目前VisionTransformer在视觉分类方面也取得了最好的成绩。关于VisionTransformer，目前的“规划”已经重现，训练速度比PyTorch快20%。同时，本次更新还带来了YOLOv3的加速和递归，训练速度较PyTorch提升11%。可以跑在Jittor上的MobileNet的训练和推理速度，这次也得到了全面的提升。对于不同的图像和批次大小，速度提升范围从10%到50%。简直是视觉分类玩家的福音。搞图形学，选择哪个深度学习框架？就传统的主流框架而言，Tensorflow和PyTorch比Caffe的速度更注重“易用性”。与Tensorflow相比，PyTorch的构建层次更高。虽然更加人性化，但是训练速度会慢一些。另外，这些深度学习框架并不像“极图”那样完全针对图形领域，所以无论是渲染还是图形处理，也不可能及时跟进每一个新领域。Caffe的作者贾扬清也在知乎上表示，“极图”更注重计算图的优化和JIT（实时）编译。也就是说，在训练速度和用户友好性上，「极兔」优于PyTorch，界面模仿PyTorch，也是为了让大家更快适应新框架。那么，这个可微渲染库与胡远鸣的太极渲染工具相比如何呢？据开发者之一梁盾介绍，两者整体上属于不同的领域。Taichi做的是类似下图的可微物理模拟，而Jittor这次加入了可微渲染库。但就渲染领域而言，Taichi并没有可微分的渲染部分。它主要通过物理模拟光的折射来完成简单的渲染工作。也就是说，渲染是完成3D模型与图像之间的转换，而物理模拟是完成3D模型与力之间的变化。如果你想系统地入门CV，《极兔》会是一个不错的深度学习框架。笔者介绍“极图”的开发团队，均来自清华大学计算机系图形学实验室，负责人为清华大学计算机系胡世民教授。实验室的博士生主要负责开发：梁盾、杨国业、杨国伟、周文扬……梁盾认为，“方案”的升级具有创新性、前瞻性、差异化。渲染也是一个越来越热门的研究领域。Visiontransformer的训练速度也快于很多国际主流平台。各位同学，可以更新/安装“Jittor”~Jittor项目地址：https://github.com/Jittor/jittor
