目前，神经表示已经成为渲染、成像、几何建模和仿真应用的新范式。与网格、点云和体积网格等传统表示相比，神经表示可以灵活地融入可微分的、基于学习的管道中。神经表征的最新进展使得能够以中等分辨率表征具有丰富细节的信号，例如图像和3D形状，但充分表征大规模或复杂场景仍然是一个挑战。现有的神经表示无法准确表示分辨率大于百万像素的图像或由数十万个多边形组成的3D场景。斯坦福大学最近的一项研究给出了解决方案。他们提出了一种新的隐式-显式混合网络架构和相应的训练策略，可以在训练和推理过程中根据信号的局部复杂度进行自适应分配。资源。他们将这种用于神经场景表示的自适应坐标网络称为Acorn。在该方法中，使用了类似于四叉树或八叉树的多尺度块坐标分解（multiscaleblock-coordinatedecomposition），在训练过程中对其进行细化。具体来说，网络架构分为两个阶段：首先，坐标编码器使用大量网络参数在单个前向传递中生成网格特征；其次，每个块中的数百或数千个样本由轻量级特征解码以进行有效评估。项目主页：https://www.computationalimaging.org/publications/acorn/论文地址：https://arxiv.org/pdf/2105.02788.pdf利用这种混合隐式-显式网络架构，研究人员首次展示了为了使1十亿像素的图像适应接近40dB的峰值信噪比。值得注意的是，与之前的图像拟合实验中展示的分辨率相比，该数据表示比例增加了1000多倍。此外，研究人员的方法可以比以往更快更好地表征3D形状，将训练时间从几天缩短到几小时或几分钟，并将内存需求减少至少一个数量级。Acorn的实际表现效果如下动画所示。第一张是10亿像素的2D东京城市图；二是3D地貌的重建显示效果：?多尺度坐标网络研究者提出的多尺度表示网络包括两个主要的组件，即多尺度块参数化（根据局部信号复杂度划分输入空间）和网络由坐标编码器和特征解码器组成的架构（负责有效地将输入空间和尺度坐标映射到输出值）。多尺度块参数化多尺度块参数化的核心是输入域的基于树的划分。具体来说，研究人员使用二维四叉树或三维八叉树来划分域，并确定树的最优尺度和最大深度，如下图3所示：在传统的多尺度分解方法中，每个输入域一个值在多个尺度上表示，例如图像金字塔中的每个像素。相反，我们的方法划分空间以在单个尺度上表示每个输入值。神经网络架构多尺度表示网络的坐标编码器定义如下：给定一个连续的局部坐标X_1，特征向量提取如下：这种两阶段架构的一个关键优势是它大大减少了对在同一块计算开销中评估多个坐标。另一个优势：由于特征网络可以在具有跨空间位置和尺度的重复结构的信号中重复使用，因此可以提高网络性能。在线多尺度分解研究人员提出了新的自动分解方法，可以自适应地分配网络资源以适应感兴趣的信号，并在仿真技术中受到自适应网格细化方法和有限元求解器的启发。这些有限元求解器在优化期间执行细化或粗化，以提高解决方案的准确性，同时最大限度地减少计算开销。修剪为了不在多尺度网络中为整个区域学习相同的值，我们从分区中修剪块，直到块不能被进一步分解并且其值被设置在查找表中。并且，由于该块不再处于活动状态，因此可以通过放宽等式(8)中的约束来释放分区中的空间。至于是否剪枝B_i块，研究人员发现，在实践中，满足以下两个条件才能很好地运行：低误差和低方差。表征1-gigapixel图像研究人员首先评估了Acorn在表征1-gigapixel图像方面的性能。以往的神经图像表示方法将分辨率限制在百万像素以下，而本研究选择了6400万像素和10亿像素，远超以往的方法。具体来说，他们通过拟合两张大型图像来展示Acorn的性能。如下图2所示，第一张图片是新视野号太空探测器拍摄的冥王星图片。它的分辨率为8,192×8,192，具有不同尺度的特征，是多尺度表征的理想实验对象。结果表明，使用本研究的资源分配策略优化的自适应网格能够使用明显更小的块来表示丰富的细节。以陨石坑为例，可以在更小尺度的刻画中得到宽大的均匀区域。第二张是东京市的10亿像素图像，分辨率为19,456×51,200，比最近的神经图像表示中使用的图像分辨率高大约三个数量级。同样，研究人员捕获了不同比例的图像的丰富细节。总的来说，Acorn可以缩放以灵活地表示大型2D图像，从而在训练速度、性能和对任务的整体适用性方面带来显着提升。表示复杂的3D场景除了2D图像之外，本研究中提出的多尺度表示也可以很好地推广到复杂3D场景的表示。如下图5所示，与之前的Conv等方法相比。OCC。和SIREN，Acorn可以更准确地表征复杂的形状。定性地，Acorn在表现丰富的细节方面比这些方法更强大，例如缠绕的浮雕和紧密缠绕的弹簧；在数量上，Acorn在体积容量和网格精度方面都优于这些方法。对于所有基准方法。最后，与之前的神经表示方法相比，Acorn在计算效率上也有明显的提升。通过在采样点之间共享计算，该方法显着减少了训练和查询模型所需的内存和时间开销。
