本文经AI新媒体量子位（公众号ID：QbitAI）授权转载，转载请联系出处。使用AI处理二维图像，离不开卷积神经网络（CNN）的基础。不过，面对3D模型，CNN就没有那么厉害了。主要原因是3D模型通常用网格数据表示，类似于：这些三角形包含三个不同的元素：点、边和面，缺乏规则的结构和层次表示，这使得正方形CNN很难。△CNN原理图，来源：维基百科，像VGG、ResNet这样成熟好用的CNN主干网络，难道不能用来做3D模型的深度学习吗？并不真地。近日，清华大学Jittor团队首次提出了一种用于三角网格面片的卷积神经网络SubdivNet。基于SubdivNet，成熟的图像网络架构可以迁移到3D几何学习。此外，相关论文和代码都是开源的。基于细分结构的网格卷积网络那么，SubdivNet是如何打破2D和3D之间的壁垒的呢？具体来说，这是一个基于细分结构的网格化卷积网络。对于输入的网格数据，首先重新划分网格（remesh），构建细分结构，得到一般网格的多分辨率表示；然后，重头戏——patch卷积法和up-down采样法。Surfacepatchconvolutionmethod以往的grid深度学习方法通??常将特征存储在点或边上，这带来了一个问题：点的度数不固定，边的卷积不灵活。因此，设计团队在patch上提出了一种网格卷积的方法，以充分利用每个patch与三个patch相邻的规则性。并且，基于这样的规律性，研究团队进一步根据patch之间的距离设计了多种不同的卷积模式。△k是卷积核的大小，d是孔的长度。由于3D数据格式中的patch顺序不固定，SubdivNet在计算卷积结果时，通过取邻域的均值和差的均值，使计算结果与patch序列一致。无所谓，满足置换不变性。上下采样方式下面我们来看一下上下采样部分。SubdivNet受传统Loop细分曲面建模的启发，构建了一种基于细分结构的上下采样方法。也就是说，在pooling（下采样）过程中，由于网格数据已经重新网格化，其patch具有细分的连接结构，因此可以将4个patch改为1个patch，从高分辨率到低分辨率实现池化补丁功能的操作。在上采样的过程中，依次将patch一分为四。这样上下采样的方式是规则均匀的，也可以满足双线性插值等要求。结合patchconvolution方法和up-downsampling方法，经典的2D卷积网络如VGG、ResNet、DeepLabV3+可以轻松迁移到3D模型的深度学习中。值得一提的是，SubdivNet方法是基于清华大学深度学习框架Jittor实现的。其中，图计算框架提供了高效的重索引算子，无需额外的C++代码即可实现邻域索引。实验结果至于SubdivNet的效果，大家不妨直接看实验结果。首先，在网格分类数据集上，SubdivNet在SHREC11和CubeEngraving数据集上首次实现了100%的分类准确率。在网格分割方面，在量化指标下，SubdivNet的分割精度高于用于对比的点云和网格方法。在形状对应实验上，SubdivNet也达到了SOTA水平。作者简介本文来自清华大学计算机系胡世民教授团队。作者是胡世民和他的博士生刘正宁、郭孟浩、黄家辉等，以及英国卡迪夫大学的RalphMartin教授。同时，他们也是清华“规划”框架组的成员。极兔是中国高校开源的第一个深度学习框架。开发团队来自清华大学计算机系图形学实验室，负责人为胡世民教授。实验室主要研究方向为计算机图形学、计算机视觉、智能信息处理、智能机器人、系统软件等，先后参加ACMTOG、IEEETVCG、IEEEPAMI、ACMSIGGRAPH、IEEECVPR等重要国际会议,IEEEICRA,USENIXATC等期刊发表论文100余篇。目前，发展计划的主力是实验室的一批博士生，包括梁盾、杨国业、杨国伟、周文扬、刘正宁、李向丽、郭孟浩和辛航高。与TensorFlow和PyTorch不同，Graph是一个完全基于动态编译、使用元算子和统一计算图的深度学习框架。此前，在可微分渲染、动态图推理等方面，图计算已经超越了PyTorch的性能。论文地址：https://arxiv.org/abs/2106.02285项目地址：https://github.com/lzhengning/SubdivNet参考链接：https://mp.weixin.qq.com/s/tJjarzqU7MvS_pHWWO3JYQ
