编者按：2020年即将结束。今年人工智能领域有哪些重大进展？北京致远人工智能研究院邀请“致远学者”从全球研究成果中评选出一份年度成果榜单，其中包括文本能力惊人的自然语言处理预训练模型GPT-3，以及令人惊叹的结构生物AlphaFold2。科学领域也有不少中国学者的成果。榜单按对人工智能领域的重要性排序，谁会拔得头筹？NO.10康奈尔大学提出了一种无偏公平排序模型，可以缓解检索排序的马太效应。近年来，检索公平性和基于反事实学习的检索推荐模型成为信息检索领域的重要研究方向。研究成果已广泛应用于点击数据校正、模型离线评估等，部分技术已在阿里、华为等公司的推荐和搜索产品中实现。2020年7月，康奈尔大学ThorstenJoachims教授团队发表了公平无偏排序学习模型FairCo，获得国际信息检索领域顶级会议SIGIR2020最佳论文奖。该研究分析了当前排序模型中常见的位置偏差、排序公平性和项目曝光的马太效应，提出了一种基于反事实学习技术的具有公平性约束的无偏相关度估计方法，并取得了排序性能。这一改进得到了业界的广泛关注和好评。No.9Google和FaceBook团队分别提出了新的无监督表征学习算法。2020年初，Google和Facebook分别提出了SimCLR和MoCo两种算法，可以在未标记数据上学习图像数据表示。这两种算法背后的框架都是对比学习。对比学习的核心训练信号是图像的“可区分性”。该模型需要区分两个输入是来自同一图像的不同视图，还是来自两个完全不同图像的输入。此任务不需要人工注释，因此可以使用大量未标记数据进行训练。Google和FaceBook的两部作品虽然在很多训练细节上的处理有所不同，但都表明无监督学习模型可以接近甚至达到监督模型的效果。No.8麻省理工学院仅使用19个类脑神经元来控制自动驾驶汽车与传统深度神经网络所需的数百万个神经元相比，控制自动驾驶汽车仅需19个类脑神经元。此外，该神经网络具有模仿学习能力，具有扩展到仓库自动化机器人等应用场景的潜力。该研究成果于2020年10月13日发表于《自然》杂志子刊《自然·机器智能》（NatureMachineIntelligence）。北大七院实现了首个基于相变记忆的高速神经网络训练系统。该训练系统有效缓解了人工神经网络训练过程中耗费大量时间和精力，难以片上实现的问题。该系统在误差直接反馈算法（DFA）的基础上进行改进，利用PCM电导的随机性自然产生传播误差的随机权重，有效降低了系统的硬件开销和时间和训练过程中的能量消耗。该系统在大型卷积神经网络的训练过程中表现良好，为人工神经网络在终端平台上的应用和片上训练的实现提供了新的方向。No.6清华大学首次提出类脑计算完备性概念和计算系统的层次结构。耦合类脑计算系统的层次结构通过理论论证和原型实验证明了该类系统的硬件完备性和编译可行性，扩展了类脑计算系统的应用范围以支持通用计算。研究成果于2020年10月14日发表在《自然》杂志《自然》上。《自然》周刊评论称“‘完备性’新概念推动类脑计算”，是“突破性的解决方案”类脑系统中软件和硬件的紧密耦合。No.5美国贝勒医学院通过动态颅内电刺激实现高效“视觉皮层打印”。对于全球超过4000万盲人来说，重见光明是一个遥不可及的梦想。2020年5月，美国贝勒医学院的研究人员利用动态颅内电刺激新技术，植入微电极阵列形成视觉假体，成功绘制出W、S、Z等字母形状人类初级视觉皮层。盲人有可能“看到”这些字母。结合马斯克创立的脑机接口公司Neuralink发布的高带宽、完全植入式脑机接口系统，下一代视觉假体或可准确刺激大脑初级视觉皮层的每一个神经元，帮助盲人“看到”更复杂的信息，实现他们看清世界的梦想。No.4DeepMind等利用深度神经网络求解薛定谔方程推动量子化学发展等式一直困扰着许多科学家。2019年，DeepMind开发了费米神经网络（简称FermiNet）来逼近薛定谔方程的计算，为深度学习在量子化学领域的发展奠定了基础。2020年10月，DeepMind开源了FermiNet。该论文发表在物理学杂志《物理评论研究》上。FermiNet是首次尝试使用深度学习从第一性原理计算原子和分子能量。其精度和准确度均符合科研标准，是目前相关领域中精度最高的神经网络模型。此外，2020年9月，德国柏林自由大学的多位科学家还提出了一种新的深度学习波函数制定方法，可以得到电子薛定谔方程的近精确解，相关研究发表在《自然化学》上。这类研究表明的不仅是深度学习在解决特定科学问题上的应用，而且还展示了深度学习广泛应用于生物、化学、材料和医学等各个领域科学研究的巨大前景。No.3DeepPotentialEnergyMolecularDynamics获戈登贝尔奖2020年11月19日，在美国亚特兰大举办的国际超级计算大会SC20上，致远学者、北京应用物理与计算数学研究所王涵在“深势能”团队荣获国际高性能计算应用领域最高奖项“戈登·贝尔奖”。“戈登·贝尔奖”于1987年设立，由美国计算机协会（ACM）颁发，素有“计算应用领域的诺贝尔奖”之称。团队研究的“分子动力学”结合了分子建模、机器学习和高性能计算相关方法，可将第一性原理精密分子动力学模拟的规模扩大到1亿个原子，同时提高计算效率高于以前的人类。最佳水平提高了1000多倍，大大提高了人类利用计算机模拟客观物理世界的能力。美国计算机协会（ACM）评论说，基于深度学习的分子动力学模拟通过机器学习和大规模并行方法，将精确的物理建模带入更大规模的材料模拟中。、材料、生物学甚至工程学在解决实际问题（如大分子药物的研制）方面发挥更大的作用。No.2DeepMind的AlphaFold2解决蛋白质结构预测难题2020年11月30日，谷歌旗下DeepMind公司的AlphaFold2人工智能系统在第14届国际蛋白质结构预测大赛（CASP）中获得一等奖，在评测中整体中位数。得分达到92.4分，其准确度可与通过冷冻电子显微镜（CryoEM）、核磁共振或X射线晶体学等实验技术分析的蛋白质3D结构相媲美。历史上第一次，蛋白质结构预测任务已经基本接近实用水平。《自然》（自然）杂志评论称，AlphaFold2算法解决了困扰生物界50年的“大问题”。NO.1OpenAI发布全球最大的预训练语言模型GPT-32020年5月，OpenAI发布了迄今为止全球最大的预训练语言模型GPT-3。GPT-3拥有1750亿个参数，用于训练的数据量达到45TB，训练成本超过1200万美元。对于所有任务，应用GPT-3不需要任何梯度更新或微调，它只需要与模型文本交互来指定任务并展示一些演示就可以完成任务。GPT-3在很多自然语言处理数据集上表现优异，包括翻译、问答、文本填充任务，以及一些需要即时推理或领域自适应的任务等，在很多方面已经明显接近人类水平实际任务。
