最近，Wellings团队的一项研究通过研究图的局部对称性提出了一种新算法。该算法在不同的边上使用不同的核，使得网络在局部和全局图同构上是等变的，也更容易表达。通常，传统的神经消息传递算法对于消息排列是不变的，因此忘记了信息如何在网络中流动。最近，阿姆斯特丹大学机器学习教授、高通科技副总裁MaxWelling团队通过研究图的局部对称性，提出了一种更通用的算法。该算法在不同的边上使用不同的核，使得网络在局部图和全局图的同构性上呈现出相等的变化，从而更易于表达。论文地址：https://arxiv.org/abs/2007.08349v1具体来说，研究人员使用初等范畴论将许多显式等变神经网络形式化为自然图网络（NaturalGraphNetworks，NGN），并表明它们的核只是两个之间的自然变换函子。他们还提供了一个使用等变消息网络参数化的自然网络的图形实例，该网络在多个基准测试中取得了良好的性能。接下来，我们来看一下这篇论文的具体内容。自然图网络在图上构建神经网络有一种完全不同的策略，使用图卷积神经网络或消息传递网络（Kipf和Welling，2016年；Gilmer等人，2017年）。研究人员将此类方法称为局部图网络(LIGN)。在最简单的形式中，这些变换后的图信号v在每个节点上具有特征v_p，使用单个共享线性变换W在图的边上传递消息，如下面的等式2所示：其中E是图的边集.这种卷积架构通常比全局方法的计算效率更高，因为计算线性变换的计算成本与边数成线性关系。为了克服现有消息传递网络的局限性，同时保持更高的计算效率，研究人员提出了一种新颖的消息传递网络，其中权重由图结构决定。即，研究人员对等式2进行了改进，得到了以下等式3：其中线性核在每个图的每条边上都不同。显然，并非所有此类内核都会导致等变网络。接下来，研究人员详细介绍了如何定义内核空间。全局图和局部图对称研究者用整数数组表示图G中的节点N_G，即图中的边用整数对表示，边的集合为ε(G)，则边(p,q)∈ε(G)。如果图G和G'是带有箭头符号（例如p→q）的有向图，则图G和G'相似或同构。换句话说，图同构将节点映射到节点，将边映射到边。一种特殊的同构是自同构，即仅改变节点的排列顺序，而边集保持不变。根据定义，群中的自同构称为自同构群。特征为了使等变神经网络具有表达内核，必须转换节点p处的特征向量v_p，因为节点p通过某种全局对称性映射到p'，而不是像在固定消息传递网络中那样保持不变。改变。研究人员重新定义了局部节点对称下特征向量的变换规则。局部等变边(p,q)上的核是从点p的向量空间V_p到点q的向量空间V_q的映射。内核的局部等变性质意味着如果存在一组空的局部同构边，那么这样做与将信号从p传递到p'并然后应用内核K^(G')_p'q具有相同的结果';首先应用内核K^G_pq，然后将q转换为q'。详情如下图6所示：因此需要下面的等式4：图神经网络的消息参数化的可变性只需要在具有同构邻域的边之间共享权重，因此在定理中，我们可以使用分类参数为每个同构类的边缘邻域来参数化等变核的空间。事实上，像社交图这样的图是非常异构的，很少有边是同构的，很少需要共享权重，因此学习和泛化也非常困难。这一点可以通过将消息从p到q重新解释为函数来解决，其中G_pq是边缘邻域，v_p是点p的特征值，可以在v_p中非线性推广，K是基于神经网络的消息网络网络。下面的图7将消息传递过程说明为图卷积：类别理论全局对称性的等变约束，例如广泛用于机器学习的等式1，最近已扩展到局部或规范对称性。然而，这些公式不包括图形的动态局部对称性，需要更通用的语言。出于这个原因，研究人员使用了范畴论，它最初是从代数拓扑发展而来的，最近被用作更多问题的建模工具。范畴论的结构为构建等变消息传递网络（称为自然网络）提供了良好的框架，研究人员称之为“自然网络（NaturalNetwork）”。ExperimentalIcosahedralMNIST为了在实验中验证该方法具有全局对称性的等变性，并增强在不变消息传递网络（GCN）上的可表达性，研究人员投影到二十面体MNISTClassified。下面表1的第一列显示了固定投影上的训练和测试精度。在第二列中，研究人员在随机二十面体对称变换的投影上测试了相同的模型。结果表明，NGN优于GCN，同样的精度表明该模型是完全等变的。图分类在Yanardag和Vishwanathan于2015年提出的8个标准图分类基准（包括5个生物数据集和3个社交图??）上，研究人员使用GCN消息参数化对模型进行了评估。具体来说，研究人员采用了10折交叉验证的方法，给出了10折情况下最好的平均准确率，如下表2所示：实验结果表明，在大多数数据集上，本研究提出的局部等变法并不逊色于全局等变法。
