球形深度学习扩展到高分辨率输入数据在本文中，我们介绍了球形散射层——一类新的球形层，它可以降低输入数据的维数，同时保留相关信息，同时也是旋转等变的。散射网络通过使用来自小波分析的预定义卷积滤波器来工作，而不是从头开始学习卷积滤波器。由于散射层的权重是专门设计的而不是学习的，因此散射层可以用作一次性预处理步骤来降低输入数据的分辨率。我们之前的经验表明，配备初始散射层的球形CNN可以扩展到数千万像素的分辨率，这是传统球形CNN层以前难以实现的壮举。传统的球形深度学习方法需要计算球形CNN（参考文献1、2、3）对于解决机器学习中许多不同类型的问题非常有用，因为其中许多问题的数据源无法在平面上自然表示（相关对此的介绍性介绍，请参阅我们之前的文章https://towardsdatascience.com/geometric-deep-learning-for-spherical-data-55612742d05f）。球形CNN的一个关键特性是它们与球形数据是旋转等变的（在本文中，我们关注旋转等变方法）。在实践中，这意味着球形CNN具有令人印象深刻的泛化特性，允许它们执行诸如对3D对象的网格进行分类的操作，而不管它们是如何旋转的（以及它们是否在训练不同的旋转过程中看到了网格）。在我们最近发表的文章中，我们描述了Kagenova团队为提高球形CNN的计算效率而开发的一系列进展结果（参考地址：https://towardsdatascience.com/efficient-generalized-spherical-cnns-1493426362ca）。我们的方法——一种高效的广义球形CNN——保留了传统球形CNN的等方差特性，同时提高了计算效率（参考文献1）。然而，尽管在计算效率方面取得了这些进步，但球形CNN仍然仅限于相对低分辨率的数据。这意味着球形CNN目前无法应用于通常涉及更高分辨率数据的令人兴奋的应用场景，例如宇宙学的数据分析和虚拟现实的360度计算机视觉。在最近发表的一篇论文中，我们引入了球形散射层网络来灵活地适应高效的通用球形CNN以提高分辨率（参考文献4），我们在本文中对其进行了回顾。支持高分辨率输入数据的混合方法在开发高效的通用球形CNN（参考文献1）时，我们发现了一种非常有效的混合方法来构建球形CNN架构。混合球形CNN可以在同一网络中使用不同样式的球形CNN层，使开发人员能够在不同的处理阶段获得不同类型层的好处。上图是混合球形CNN架构的示例图（注意：这些层不是单一的层，而是一些不同样式的球形CNN层）。Spherical上的ScatterNet延续了这种混合方法，并引入了一个新的SphericalCNN层，可以插入现有的Spherical架构。为了将高效的通用球形CNN扩展到更高维度，这个新层需要具有以下特征：计算支持的可扩展性将信息混合到低频，以允许后续层以低分辨率运行。旋转等变性提供稳定性和局部不变表示（即提供有效的表示空间）我们确定散点网络层有可能满足上面列举的所有这些特性。球体上的散射网络散射网络首先由Mallat（参考文献5）在欧几里德设置中提出，可以看作是具有从小波分析得出的固定卷积滤波器的CNN。事实证明，散射网络对传统（欧几里得）计算机视觉非常有用，尤其是在数据有限的情况下——学习卷积滤波器很困难。接下来，我们将简要讨论散点网络层的内部工作原理，它们如何满足上一节中定义的要求，以及如何为球形数据分析开发它们。散射层内的数据处理由三个基本操作执行。第一个构建块是固定小波卷积，类似于欧几里德CNN中使用的普通学习卷积。在小波卷积之后，散射网对结果表示应用模非线性方法。最后，散射利用实现局部平均算法的缩放函数，该算法与普通CNN中的池化层有一些相似之处。这三个构建块的重复应用将输入数据分散到计算树中，并在不同处理阶段从树中提取结果表示（类似于CNN通道）。这些操作的简化示意图如下所示。该图说明了球形信号f的球形散射网络。信号通过级联球形小波变换与由红色节点表示的绝对值激活函数相结合进行传播。散射网络的输出是通过将这些信号投影到球形小波缩放函数上获得的，从而产生由蓝色节点表示的散射系数。从传统的深度学习角度来看，去中心化网络的运作似乎有些模棱两可。然而，所描述的每个计算操作都有一个特定的目的——旨在利用小波分析的可靠理论结果。为了从输入数据中提取相关信息，分散网中的小波卷积被仔细推导出来。例如，对于自然图像，小波被定义为专门提取关于高频边缘的信息和低频对象的一般形状信息。因此，在平面设置中，散射网过滤器可能与传统的CNN过滤器有一些相似之处。这同样适用于球形设置，我们在其中使用尺度离散小波（有关详细信息，请参见参考文献4）。由于小波滤波器是固定的，初始散射层只需要应用一次，而不是在整个训练过程中重复应用（如传统CNN中的初始层）。这使得散射网在计算上具有可扩展性，满足上述特征1的要求。此外，散点层降低了其输入数据的维度，这意味着在训练下游CNN层时只需要使用有限的存储空间来缓存散点表示。小波卷积之后是模非线性方法。首先，这将非线性特征注入神经网络层。其次，模数运算将输入信号中的高频信息混合到低频数据中，满足上述要求2。下图显示了模非线性计算前后数据的小波表示的频率分布。上图为模运算前后不同球面频率l下小波系数的分布。输入信号中的能量从高频（左图）转移到低频（右图）。其中f是输入信号，ψ表示按j缩放的小波。应用模数计算后，将生成的信号投影到缩放函数上。缩放函数从表示结果中提取低频信息，类似于传统CNN中的池化函数操作。我们凭经验测试了球形散射网络的理论等方差特性。测试是通过旋转信号并将其馈入散点网络，然后将结果表示与通过散点网络后输入数据的结果表示进行比较，然后执行旋转计算来完成的。从下表的数据可以看出，给定深度的等方差误差很小，从而满足上面的要求3（通常在实践中，一个路径深度不会超过两个路径的深度，因为大部分信号能量已经被捕获）。不同深度球形散射网络的旋转等方差误差最后，从理论上证明欧几里德散射网络对小微分或畸变是稳定的（参考文献5）。目前，该结果已推广到紧凑黎曼流形上的散射网络（参考文献6），尤其是球形环境（参考文献4）。在实践中，对微分形态学的稳定性意味着，如果对输入进行微小的改变，则散射网计算的表示不会有显着差异（关于稳定性在几何深度学习中的作用的讨论，请参见我们之前的帖子，地址是https://towardsdatascience.com/a-brief-introduction-to-geometric-deep-learning-dae114923ddb）。因此，散点网络提供了一个行为良好的表示空间，可以在其上高效地执行后续学习，满足上述要求4。可扩展和旋转等变球形CNN考虑到引入的散射层满足我们所有期望的特性，接下来我们准备将它们集成到我们的混合球形CNN中。如前所述，散射层可以作为初始预处理步骤固定到现有架构上，以减少后续球形层处理的表示的大小。在上图中，散点层模块（虚线左侧）是一个设计层。这意味着，它不需要训练，而其余层（虚线右侧）是可训练的。因此，这意味着散射层可以用作一次性预处理步骤来降低输入数据的维数。由于散射网对给定的输入具有固定的表示，因此可以在训练开始时将散射网层应用于整个数据集一次，并将生成的低维表示缓存起来以训练后续层。幸运的是，散点表示具有降维性，这意味着存储它们所需的磁盘空间相对较低。由于这种新的球形散射层的存在，可以将有效的广义球形CNN扩展到高分辨率分类问题领域。宇宙微波背景各向异性的分类物质在整个宇宙中是如何分布的？这是宇宙学家的一个基本研究问题，对我们宇宙起源和演化的理论模型具有重大意义。宇宙微波背景辐射(CMB)——大爆炸的剩余能量——描绘了宇宙中物质的分布。宇宙学家在天球上观测CMB，这需要能够在天球内进行宇宙学分析的计算方法。宇宙学家对分析宇宙微波背景的方法非常感兴趣，因为这些方法能够检测宇宙微波背景在整个空间分布中的非高斯特性，这对早期宇宙理论具有重要意义。这种分析方法还需要能够扩展到天文分辨率。我们通过将分辨率为L=1024的CMB模拟分类为高斯或非高斯来证明我们的散射网络可以满足这些要求。散射网络成功地将这些模拟分类为95.3%，远好于53.1%的精度低分辨率传统球形CNN。上图显示了高斯和非类高斯CMB的高分辨率模拟示例，以评估球形散射网络扩展到高分辨率的能力。总结在本文中，我们探索了球形散射层压缩其输入表示的维度的能力，同时还保留了下游任务的重要信息。我们已经表明，这使得散射层可用于高分辨率球形分类任务。这为以前棘手的潜在应用打开了大门，例如宇宙学数据分析和高分辨率360图像/视频分类。然而，许多需要密集预测的计算机视觉问题，例如分割或深度估计，需要高维输出和高维输入。最后，如何开发可控的球形CNN层来增加输出表示的维度，同时保持等方差是Kagenova开发人员当前研究的主题。这些将在下一篇文章中介绍。参考文献[1]Cobb,Wallis,Mavor-Parker,Marignier,Price,d'Avezac,McEwen,EfficientGeneralizedSphericalCNNs,ICLR(2021),arXiv:2010.11661[2]Cohen,Geiger,Koehler,Welling,SphericalCNNs,ICLR(2018),arXiv:1801.10130［3］Esteves,Allen-Blanchette,Makadia,Daniilidis,LearningSO(3)EquivariantRepresentationswithSphericalCNNs,ECCV(2018),arXiv:1711.06721［4］McEwen,Jason,Wallis,ChristopherandMavor-Parker,AugustineN.,ScatteringNetworksontheSphereforScalableandRotationallyEquivariantSphericalCNNs,ICLR(2022),arXiv:2102.02828［5］Bruna,Joan,andStéphaneMallat,不变散射卷积网络,IEEETransactiononPatternAnalysisandMachineIntelligence(2013)［6］Perlmutter,Michael,etal.,紧黎曼流形上的几何小波散射网络，数学和科学机器学习。PMLR(2020),arXiv:1905.10448译者介绍朱宪忠，社区编辑，专家Blogger，讲师，潍坊某高校计算机教师，自由编程资深人士。原标题：ScalingSphericalDeepLearningtoHigh-ResolutionInputData，作者：JasonMcEwen,AugustineMavor-Parker
