不久前，FourthParadigm高级研究员姚全明博士给大家分享了一篇他参与并被NeurIPS2020录用的论文《Interstellar: Searching Recurrent Architecture for Knowledge Graph Embedding》。InspiredbyNeural架构搜索(NAS)，这项研究提出Interstellar作为处理关系路径中信息的循环架构。此外，本研究提出的新型混合搜索算法突破了单机和一次性搜索方法的局限性，有望应用于其他具有复杂搜索空间的领域。视频链接：https://v.qq.com/x/page/n3207ugke4j.html?start=6知识图谱嵌入（KnowledgeGraphEmbedding）目前在知识图谱（KG）中学习知识表达的能力很强。在以前的研究中，许多工作都集中在对单个三元组建模。然而，对于KG来说，三元组之间的长链依赖信息在某些任务中也很重要。在香港科技大学FourthParadigmNeurIPS2020会议接受的论文中，研究人员提出了基于三元组组成的关系路径的星际模型，并通过搜索递归神经网络来处理关系路径。短链和长链信息论文链接：https://arxiv.org/pdf/1911.07132.pdf代码链接：https://github.com/AutoML-4Paradigm/Interstellar单一模型通过一组模拟实验针对不同任务建模关系路径的难度，从而通过搜索的方法提出针对不同任务的针对性建模。为了提高搜索效率，本研究提出了一种混合搜索算法，该算法可以高效地搜索在链接预测和实体对齐任务中具有更好结果的模型。.背景介绍知识图谱嵌入（KGEmbedding）旨在将图中的节点（实体）和关系（关系）映射到低维空间，同时保留图中的重要属性。在目前的学术领域，一些工作是基于单三元组（s，r，o）建模，例如TransE，RESCAL，DistMult，RotatE，ConvE，SimplE等，它们在链路预测任务（即，给定头节点s和关系r，预测尾节点o)表现不错，但在节点匹配任务上表现一般（即给定两个KG，预测哪些节点具有相同的意义）。另一类基于关系路径的工作，如IPTransE、Chains、RSN等，在节点匹配任务上表现更好。研究人员观察到，关系路径包含各种重要信息，例如单个三元组的短链信息、多个关系的组合、多个三元组之间的长链信息等。基于此，本研究提出星际模型，利用搜索的方法，根据不同的任务，有针对性地对关系路径进行建模。动机为了验证不同的模型对不同的任务具有不同的拟合能力，研究人员设计了一组模拟实验。Countries数据集有S1-S3三个不同的任务，预测难度逐级递增，需要模拟的预测路径逐渐变长。为此，研究人员基于先验知识设计了四种模式P1-P4，分别用于对单个三元组、两个连续三元组、多重关系的复合以及完全递归连接进行建模。直观上P4的建模能力更强，但在有限的样本中，样本复杂度同样重要，选择更符合数据规则的模型才能取得更好的效果。如下表所示，在S1的简单任务上，基于单个或两个triplet的模型P1和P2表现更好，在S2上P1-P3优于P4，而在S3上，递归模型P4可以通过模拟胜出更长的路径。由此，我们可以得出结论，关系路径上的建模应该是模型相关的。如果我们能够通过搜索将专家的先验知识融入到建模能力中，那么就可以针对不同的任务自动找到模型。更好的解决方案。问题定义和搜索空间首先，研究人员将Interstellar定义为递归处理关系路径的模型。在每个递归步骤中，模型都关注一个三元组，三元组内部和三元组之间的信息是不同的。途穿梭。与传统的RNN不同的是，这里的每一步都有两个输入，并且由于需要考虑知识图谱相关的领域知识，所以简单地用RNN来建模是不合适的。为了充分利用知识图谱领域的先验知识，使模型适用于不同的任务，受神经网络搜索技术（NeuralArchitectureSearch）的启发，本研究将建模问题定义为适应不同任务的搜索问题。任务建模。本研究通过总结知识图谱嵌入的领域相关模型，提出上图中的搜索空间，使用运算单元O_s处理节点嵌入s_t，使用O_r处理关系嵌入r_t，使用O_v输出向量v_t来预测下一个节点点s_t+1。具体来说，研究在宏观层面寻找不同单元之间的联系和组合子，在微观层面寻找激活函数和权重矩阵。搜索算法这项研究的目标是在搜索空间中找到更快的模型，这些模型可以在验证集上实现更好的性能，这可以通过双层优化来定义。为了解决这个优化问题，目前学术界有两类方法。一种是单机算法，对每个模型分别训练参数F使其收敛，从而得到准确的性能评价M，但训练成本较高；另一种是one-shot算法，建立一个超级网络（supernet），在超级网络中采样不同的模型，同时共享参数。这种评估方法更有效，但并不总是保证可靠性。研究人员观察到，一次性方法对于星际建模并不可靠。为了解决这些问题，本研究提出了一种Hybridsearch算法，在宏观层面采用单机的方法，给定α_2，从α_1中采样不同的α_1，训练模型参数直至收敛，得到可靠的评价α_1;-level采用one-shot方法，给定α_1，从α_2中采样不同的α_2，同时让不同α_2对应的模型在超级网络中共享参数，加快训练和评估的过程。两者的结合既保证了搜索的准确性，又保证了搜索的效率。实验结果在搜索效果方面，得益于星际上合理的搜索空间和高效的搜索算法，该方法可以在节点匹配和链路预测任务中针对不同的数据任务搜索出更好的模型。在搜索效率方面，Hybrid算法可以比随机搜索（Random）、强化学习（Reinforce）、贝叶斯优化（Bayes）算法更快地得到更好的模型。同时，下图中的两条虚线（代表一个单独的one-shot算法）表明它在这个问题上表现不佳。在搜索时间上，混合算法和调参（如学习率、batchsize等参数）时间相当，说明这种搜索方式的成本并不高。在新问题中，先搜索模型再调参是个不错的选择。
