2020年不乏大新闻，但人工智能依然足以突破重围，进入主流视野。尤其是GPT-3，它表明人工智能即将以一种全新的方式渗透到我们的日常生活中。这些进步赋予了未来很多可能性，未来的预测并不容易，但随着技术应用的成熟，其他领域的突破也是可以预见的。以下是人工智能有望在2021年取得突破的几个领域。GPT-3和AlphaFold背后的Transformer2020年最大的AI成就中的两个悄然共享相同的基本结构。OpenAI的GPT-3和DeepMind的AlphaFold都是基于Transformer的。尽管Transformer自2017年问世以来，GPT-3和Alphafold展示了Transformer比上一代序列模型学习更深、更快的卓越能力，并且在自然语言处理(NLP)以外的问题上也表现出色。它不同于以往的循环神经网络（RNN）和长短期记忆网络（LSTM）等序列模型结构。Transformer能够一次处理整个输入序列，并引入“注意力”机制来了解输入的哪些部分与其他部分相关。这样一来，Transformer就可以轻松解决“长时记忆”的问题，这是循环模型一直在苦苦挣扎的问题。此外，Transformer还允许并行训练，可以更好地利用近年来出现的大规模并行处理器，大大减少训练时间。毫无疑问，在2021年，研究人员将发现Transformer的新用途，他们有信心Transformer会带来突破。2021年，OpenAI修改了GPT-3，发布了DALL-E，完成了文本描述生成图像。Transformer准备在2021年大放异彩。2021年，图神经网络(GNN)有两大发展。许多领域的数据天然适用于图结构，例如计算机网络、社交网络、分子/蛋白质、交通路线等。图神经网络(GNN)使深度学习能够应用于图结构数据，我们期待GNN在未来发挥更大的作用。到2021年，我们预计几个关键领域的方法论进步将推动GNN的更广泛采用。“动态图”是第一个重要领域。尽管迄今为止大多数GNN研究都假设一个静态图，但这些情况变化缓慢：例如，在社交网络中，新成员加入以生成新节点并且关系发生变化。2020年，我们看到了一些将时间演化图建模为一系列快照的方法，到2021年，这个新兴的研究方向将扩展到关注将动态图建模为连续时间序列的方法。除了通常的拓扑之外，这种连续建模应该使GNN能够发现和学习图中的时间结构。对“消息传递范例”的改进将是另一个可行的进步。消息传递是实现图神经网络的常用方式，它是一种通过沿着连接邻居的边“传递”信息来聚合节点信息的方式。虽然直观，但消息传递很难捕获需要信息在图中长距离传输的效果。在2021年，我们期待突破这种范式，例如通过迭代学习哪些信息传播路径最相关，甚至学习全新关系数据集的因果图。2021年的AI应用去年的众多头条新闻都强调了AI实际使用方面的新进展，预计将在2021年投放市场。值得注意的是，随着GPT-3的API将变得更加可行，越来越多的应用程序将依赖关于自然语言理解。该API允许用户访问GPT-3的功能，而无需花费精力训练自己的AI。微软已经获得了使用GPT-3的独家许可，这项技术可能会出现在微软的产品中。2021年，其他应用领域也将受益于AI技术。虽然人工智能和机器学习已经进入网络安全领域，但2021年将爆发更大的潜力。正如Solarwind黑客事件所揭示的那样，一些公司已经面临来自网络犯罪分子和高级恶意勒索软件的威胁。人工智能和行为分析对于帮助识别新威胁，甚至是早期威胁至关重要。所以在2021年，我希望能够推动最新的行为来分析AI，加强网络防御系统。2021年，我们还预计会有更多应用程序默认在边缘设备上运行机器学习模型。随着处理能力和量化技术的进步，具有TPU的设备（如Google的Coral）也可以得到普及。图为Carol加速器模块，这是一种带有GoogleEdgeTPU的新型多芯片模块。EdgeAI消除了将数据发送到云端以供参考的需要，节省了带宽并减少了执行时间，这两者在医疗保健等领域都至关重要。边缘计算应用也可以在需要隐私、安全和低延迟的区域开放，甚至可以在世界上无法访问高速互联网的区域开放。未来不可预测，但未来可期。随着AI技术在实际领域的应用越来越广泛，Transformer和GNN的进步也将推动它们在现有的AI技术和算法上更进一步。以上仅列举了今年有望取得进展的几个方面，但相信伴随进展会有更多惊喜。未来不可预测，但无论对错，2021年都将是AI激动人心的一年。
