本文经AI新媒体量子比特（公众号ID：QbitAI）授权转载，转载请联系出处。说到图像生成算法，大家可能都不陌生。但是，大多数算法都适用于光栅图像，即位图，而不是矢量图。尽管有一些生成矢量图形的算法，但它们受到监督训练中矢量图形数据集的有限质量和规模的限制。为此，伦敦大学学院和Adob??eResearch的研究人员提出了一种新方法Im2Vec，该方法仅使用光栅训练图像进行间接监督即可生成复杂的矢量图形。△Im2Vec的插值效果原理框架为了建立一个无矢量监督的矢量图形生成模型，研究人员使用了可微光栅化流水线，可以将生成的矢量形状渲染并合成到光栅画布上。△ArchitectureOverview1具体来说，端到端变分自动编码器首先被训练为矢量图形解码器，它将光栅图像编码为潜在代码z，然后将其解码为一组有序的封闭向量路径。对于具有多个组件的图，该模型利用RNN为每条路径生成潜在代码。然后使用DiffVG对这些路径进行光栅化，并使用DiffComp进行组合以获得光栅化矢量图形输出。最后将栅格化后的矢量图与原始矢量图进行比较，计算两者之间的损失——多分辨率栅格损失，并采用误差反向传播和梯度下降的方法训练模型。其中，编码过程如下：△架构概述2使用路径解码器将路径编码解码为闭合的贝塞尔路径，并统一提取单位圆上的路径控制点，保证路径的闭合性。然后使用具有圆形边界条件的一维卷积神经网络(CNN)对这些控制位置进行变形，以实现对点密度的自适应控制。与均匀分布控制点和相同段数相比，自适应方案调整了采样密度，提高了重建精度。同时，利用训练好的辅助模型，通过复杂度-保真度权衡来确定路径的最优段数和路径控制点的数量。△均匀采样和自适应采样：（a）保真度vs段数（b）误差vs段数最后，用另一个一维圆形CNN调整调整点，在绝对坐标系中输出最终结果绘制画布路径控制点。与现有技术的比较为了评估Im2Vec在重建、生成和插值三个任务中的量化性能，研究人员将其与基于光栅的ImageVAE以及基于矢量的SVG-VAE和DeepSVG进行了比较。重建性能评估首先，计算各种方法和数据集的重建损失：值得注意的是，SVG-VAE和DeepSVG都不能在没有向量监督的数据集上运行。同时，研究人员对每种方法在不同数据集上的图重建性能进行了定性比较。从字体重建的实验结果可以看出：Im2Vec可以捕获复杂的拓扑结构并输出矢量图形；ImageVAE保真度好，但输出光栅图像分辨率有限；SVG-VAE和DeepSVG可以生成矢量输出，但往往不能准确再现复杂的字体。在MNIST数据集上训练的结果表明，SVG-VAE和DeepSVG都不能在该数据集上训练，因为只有栅格数据，没有矢量图形基准；在这种情况下，ImageVAE受限于低分辨率光栅图像（图a），而Im2Vec可以生成矢量输出，因此具有可编辑性和紧凑性的相关优势；两者也都达到了更好的插值效果（图b）。在Emojis和Icons数据集上测试模型的重建性能。可以看出，Im2Vec模型可以在任何分辨率下进行光栅化。通过比较不同方法的重建性能，研究团队得出结论，虽然基于矢量的方法具有能够再现准确矢量参数的优势，但它们受到矢量参数与图像清晰度之间非线性关系的不利影响。SVG-VAE和DeepSVG估计的矢量参数中看似很小的错误可能会导致图像外观发生很大变化。另一方面，Im2Vec不受矢量参数和像素空间之间对象不匹配的影响，因此在重建任务中有显着改进。生成和插值性能评估△Im2Vec插值性能测试结果△Im2Vec生成随机样本从实验数据可以看出，在FONTS和MNIST上，Im2Vec结果比其他方法更准确，Im2Vec生成的随机样本具有显着的拓扑结构变化。局限性然而，Im2Vec也有一些局限性。基于网格的训练性质给Im2Vec带来了一定的局限性，这可能会导致一些细微的特征丢失。这个问题可以通过以牺牲计算效率为代价提高分辨率，或者通过开发更复杂的图像空间损失来解决。另外，由于缺少向量监督，在特殊情况下，Im2Vec可能会采用包含退化特征的近似最优值，或者考虑语义上无意义的部分来生成形状。结论Im2Vec的生成设置支持投影（将图像转换为向量序列）、生成（直接以向量形式生成新形状）和插值（从一个向量序列到另一个向量的变形甚至拓扑变化），并且与与向量监督方法相比，Im2Vec实现了更好的重建保真度。根据课题组主页显示，该论文已入选CVPR2021。
