我们生活在网络时代。
从 Facebook 的社交图谱到体内蛋白质的相互作用,世界越来越多地被表示为网络中的连接。
例如,斯坦福大学的拉里·佩奇和谢尔盖·布林首先建立了一个名为“PageRank”的网络网络,这是谷歌的基础。
人工智能领域的一些知名人士一直在致力于使机器学习技术在理解网络方面更加智能。
微软、谷歌大脑部门、斯坦福大学、剑桥大学和蒙特利尔学习算法研究所最近在人工智能领域的多份报告声称,他们在使神经网络破译隐藏的结构方面取得了突破性进展。
社交网络,例如 Reddit。
这篇题为“Deep Graph Infomax”的论文由剑桥大学蒙特利尔学习算法研究所的主要作者 Yoshua Bengio 和 William Hamilton、微软、谷歌的 Google Brain 部门和斯坦福大学的研究人员撰写。
他们提出了一种破解网络中看不见的部分的新方法。
他们的发明 Deep Graph Infomax 可以分发有关整个社交网络 Reddit 的全局信息(尽管不完整),以找出 Reddit 内较小的“本地”社区的详细信息,这是一种从大图片逆向到小线索的工作方式。
通过连接,网络可以是任何事物。
通过 Reddit,Reddit 成员的个人帖子包含其他帖子的链接。
帖子之间的连接网络为每个帖子提供了上下文和含义,从而可以通过神经网络对 Reddit 网络进行预测。
“社区结构”。
但存在缩放问题。
在像 Reddit 这样拥有数百万帖子的大型网络中,不可能从一开始就收集所有帖子及其连接。
这是佩奇和布林在 20 世纪 90 年代末创建 Google 时首先遇到的问题:PageRank 必须绘制整个网络的地图,而无法“看到”网络的未知部分。
该解决方案涉及在神经网络中组合多个突破电阻。
作者改编自微软R. Devon Hjelm的早期作品《Deep Infomax》。
Hjelm 的 Deep Infomax 试图改进图像识别,而不是网络理解。
通过在图像片段和这些图像的高级“表示”之间共享信息(称为“互信息”的过程),Deep Infomax 能够比其他图像识别手段表现得更好。
作者采用 Deep Infomax 方法,将其从图像转换为网络表示。
他们训练了一个卷积神经网络 (CNN),将网络拓扑的一小部分区域的已知信息与整个网络的已知信息进行协调。
在此过程中,他们重新创建了人类通常提供的用于训练人工智能模型的“标签”,本质上是重新创建了通常在使用互信息时向神经网络提供的“监督”标签。
作者指出,Deep Graph Infomax 能够与其他程序竞争来分析它以前从未见过的图形,称为归纳分析。
虽然其他方法只能理解网络一部分的细节,但作者创建的模型中的每个“节点”都可以访问整个网络图的结构属性。
有趣的是,通过放弃典型的网络分析方法(称为“随机游走”),作者写道,他们的方法比其他分析更复杂。
“众所周知,随机游走目标过分强调邻近信息,而牺牲了结构信息。
”从这个意义上说,随机游走存在人工智能科学家想要消除的偏差。
相比之下,Deep Graph Infomax 使网络中的每个节点都能“了解图的全局结构属性”。
该报告有一个更大的结论:神经网络可以通过将细节信息与大局信息相匹配来实现更好的“表示”。
表征意味着对某个主题有更高层次的抽象。
因此,这项工作有助于不断追求赋予人工智能更高层次的理解,而不仅仅是它所关注的相关性。