2019中国人工智能产业年会，发布《2019人工智能发展报告》（人工智能发展报告2019）。唐杰教授代表报告相关单位介绍了《2019人工智能发展报告》的主要内容。报告力图全面展示中国乃至全球人工智能重点领域的发展现状和趋势，助力行业健康发展，服务国家战略决策。报告概要视频报告依托AMiner平台数据资源和技术挖掘成果生成相关数据报告和图表，并邀请清华大学、同济大学等高校专家解读核心技术并提出意见和建议，保障了报告在一定程度上具有科学性和权威性。报告涵盖AI的13个子领域，涵盖人工智能的13个子领域，包括：机器学习、知识工程、计算机视觉、自然语言处理、语音识别、计算机图形学、多媒体技术、人机交互、机器人技术、数据库技术、可视化、数据挖掘、信息检索和推荐。报告的基本框架如上图所示，包括领域概念解读、发展历程梳理、人才概况、重点论文解读、相应领域的前沿进展。1、报告呈现两大亮点唐杰教授介绍，“报告对人工智能的各个子领域进行了详细分析，包括基本概念、发展历程、人才概况、代表性论文解读、前沿技术进展等。相比之下2018年人工智能发展报告有两大亮点，一方面体现在“人工智能技术的近期发展”，另一方面体现在“全面的人才网络”。亮点一：人工智能技术的近期发展唐杰教授以“深度学习”为例进行阐述。深度学习是过去10年机器学习领域发展最快的一个分支。由于其重要性，GeoffreyHinton三位教授，YannLeCun和YoshuaBengio于2018年获得图灵奖。深度学习模型的发展可以追溯到1958年的感知器。1943年，ne的原型ural网络（源自NeuroScience）已经出现。1958年，研究认知的心理学家弗兰克发明了感知器，在当时掀起了一股热潮。后来，MarvinMinsky（人工智能大师）和SeymourPapert发现了感知器的缺陷：无法处理XOR循环等非线性问题，并且当时存在计算能力不足以处理大型神经网络的问题，于是整个神经网络的研究进入了停滞期。.在过去的30年里，深度学习取得了飞速发展。《2019人工智能发展报告》列出了深度学习的四大主线。最上层是卷积网络，中间层是无监督学习线，下一层是序列深度模型开发线，最底层是强化学习开发线。这四个脉络综合展示了“深度学习技术”的近期发展。近年来深度学习模型的重要进展第一线发展（上图中浅紫色区域）以计算机视觉和卷积网络为主。这个脉络的进展可以追溯到1979年Fukushima提出的Neocognitron，这个研究给出了卷积和池化的思想。1986年Hinton提出的反向传播训练MLP（之前有过几次类似的研究），解决了感知器无法处理非线性学习的问题。1998年，YannLeCun领导的研究人员实现了一个七层卷积神经网络LeNet-5来识别手写数字。现在，YannLeCun的研究被普遍认为是卷积网络的源头，但实际上，由于当时SVM的迅速兴起，这些神经网络方法并没有引起广泛的关注。真正让卷积神经网络步入雅致殿堂的事件是2012年Hinton组的AlexNet（一种设计精美的CNN）在ImageNet上以巨大的优势夺冠，引发了深度学习的热潮。AlexNet在传统CNN的基础上加入了ReLU、Dropout等技巧，网络规模更大。这些技术后来被证明是非常有用的，成为了卷积神经网络的标准配置并得到了广泛的发展，所以后来出现了VGG和GoogLenet等新模型。2016年，年轻的计算机视觉科学家何玉明在层与层之间加入跳跃连接，提出了残差网络ResNet。ResNet大大增加了网络的深度，效果有了很大的提升。继续发展这一思想的是黄高在近年CVPRBestPaper中提出的DenseNet。针对计算机视觉领域的特定任务，出现了各种模型（Mask-RCNN等）。2017年，Hinton认为反向传播和传统神经网络仍然存在一定的缺陷，因此提出了CapsuleNet，增强了可解释性，但目前在CIFAR等数据集上效果一般，这个想法还有待验证和发展.第二条发展线（上图中浅绿色区域）以生成模型为主。传统的生成模型是预测联合概率分布P(x,y)。生成模型一直在机器学习方法中占有非常重要的地位，但是基于神经网络的生成模型并没有引起广泛的关注。2006年，Hinton基于受限玻尔兹曼机（RBM，一种基于无向图模型的能量物理模型，于1980年代左右提出）设计了机器学习生成模型，并堆叠到DeepBeliefNetwork中，使用逐层贪心或者wake-sleeptraining，模型的效果不是很好。但值得注意的是，Hinton等人正是基于RBM模型开始设计深度框架的，因此这也可以算是深度学习的开端。Auto-Encoder也是Hinton在1980年代提出的模型，后来随着计算能力的进步重新登场。本吉奥等。提出DenoiseAuto-Encoder，主要针对数据中可能存在的噪声问题。MaxWelling（这也是变分和概率图形模型的大师）和其他人后来使用神经网络训练了带有一层隐藏变量的图形模型。因为使用了variationalinference，最后看起来有点像Auto-Encoder，所以叫做ItisVariationalAuto-Encoder。在该模型中，通过隐变量的分布采样，可以直接通过后续的Decoder网络生成样本。生成对抗网络（GenerativeAdversarialNetwork，GAN）是2014年提出的一种非常流行的模型，它是一种通过判别器和生成器进行对抗训练的生成模型。这个想法非常有特色。该模型隐含地使用神经网络G对整个样本建模的概率分布，每次运行相当于从该分布中采样。后来引起了很多后续的研究，包括：DCGAN是一个相当不错的卷积神经网络实现，WGAN是一个通过用Wilstrass距离代替原来的JS散度来衡量分布之间相似性的工作，使得训练稳定。PGGAN逐层放大网络以生成逼真的人脸。第三条开发线（上图中橙黄色区域）是序列模型。序列模型并不是因为深度学习而产生的，但是相关的研究很早以前就已经做了。比如有向图模型中的隐马尔可夫HMM和无向图模型中的条件随机场模型CRF都是非常成功的序列。模型。甚至在神经网络模型上，1982年就提出了HopfieldNetwork，即在神经网络中加入循环网络的思想。1997年，JürgenSchmidhuber发明了长短期记忆模型LSTM（Long-ShortTermMemory），这是一个里程碑式的工作。当然，真正让序贯神经网络模型得到广泛关注的还是Hinton小组在2013年使用RNN进行语音识别的工作，比传统方法高出很多。在文本分析方面，另一位图灵奖得主YoshuaBengio在SVM火热时期提出了基于神经网络的语言模型（当然那时候机器学习还是以SVM和CRF为主），然后是word2vec（2013)由谷歌提出)还有一些反向传播的思想，最重要的是给出了一个非常高效的实现，从而引发了这方面的研究热潮。后来，基于RNN的seq2seq模型逐渐出现在机器翻译等任务中。一个句子的语义信息通过一个Encoder压缩成一个向量，再由一个Decoder转换输出，得到这句话的翻译结果。后来这种方法被推广到与注意力机制（Attention）结合，也极大地扩展了模型的表示能力和实际效果。后来大家发现，以字符为单位使用CNN模型在很多语言任务上也表现不错，而且耗时和空间也更少。Self-attention实际上采用了一种结构，同时考虑同一序列的局部和全局信息。Google有一篇著名的文章《attentionisallyouneed》把基于Attention的序列神经模型推向了高潮。当然，2019年另一篇关于ACL的文章也让这项研究略微降温。第四个发展脉络（上图中粉色区域）是强化学习。这个领域最著名的是DeepMind。图中标注的DavidSilver博士是一位一直在研究RL的高管。Q-learning是一种众所周知的传统RL算法。DeepQ-learning用神经网络代替了原来的Q值表，做了一个搬砖的任务。后来在很多游戏场景中得到应用，其成果发表在Nature上。DoubleDueling对这个思路做了一些扩展，主要是在Q-Learning的权重更新时机上。DeepMind的其他作品如DDPG和A3C也非常有名。它们是基于策略梯度和神经网络组合的变体。AlphaGo大家都很熟悉，它实际上同时使用了RL方法和传统的蒙特卡罗搜索技术。DeepMind后来提出了一种名为AlphaZero的新算法，它使用AlphaGo的框架，但通过掌握来学习玩不同的（国际象棋）游戏。唐杰教授表示：“报告也展示了近一两年深度学习的发展热点，比如去年GoogleBert发布??时，就引起了整个产业界和学术界的轰动，可能会影响未来的发展。”深度学习乃至整个机器学习的未来。报告详细梳理了Bert的相关研究，无论是最新的还是最经典的研究，让读者从相关研究中窥见未来。”AMiner可以生成趋势分析亮点——也体现在详细的知识图谱中。唐杰教授指出，“每个领域都有丰富的知识图谱结构，从中可以看到整个领域的发展情况。同时，通过这样的知识图谱，可以进一步开展包括topic在内的多层次研究分析和热点分析。趋势分析，趋势洞察等。”亮点二：人脉枯竭，唐杰教授简单分析，报告通过对顶尖人工论文的深度挖掘和分析，研究了全球和我国各领域学者的分布情况情报期刊/会议及相关学者近10年的数据。同时，报告进一步统计分析了各领域学者的性别比例、h指数分布以及中国在各领域的合作情况。通过统计中外合作论文的作者单位信息，将作者映射到每个国家，然后统计中国对外合作的国家间合作论文的情况。唐杰教授说，“我们也有开发精准人才画像和超大规模知识图谱。通过数据挖掘，我们首先找到作者，对每个作者进行深度的人才画像。不仅可以看到每位学者的联系方式和职位、单位信息，还有工作变动、兴趣变动等。”可以对国内外各个领域的专家进行比较分析，甚至可以进行人才研究。亏损分析，比如分析一个国家的人才引进和人才流出是盈利还是亏损。最后，唐杰教授介绍了报告撰写的数据支撑平台AMiner。AMiner系统自2006年上线以来，已经运行了十余年，是一个知识驱动的科技情报挖掘平台，包含3亿多篇论文和1亿多条科研人员数据。可提供包括专家发现、智能推荐、机构评价、人才图谱、技术趋势分析等多种服务。AMiner平台的多项功能已在科技部、教育部、北京市科委、国家自然科学基金委等多个单位得到应用。希望AMiner平台在未来有更多的应用前景。二、为智能产业发展出谋划策当前，我国已进入科技高速发展时期，人工智能作为科技领域的后起之秀，受到国家的高度重视。在多层次战略规划的指引下，无论是在学术界还是在产业界，我国在人工智能领域都在国际同行中表现不俗。我国人工智能发展进入快车道。现阶段，能够推动技术突破和创造性应用的高端人才对人工智能的发展起着至关重要的作用。此次发布的《2019人工智能发展报告》通过对研究方法的深入探讨，对近年来的热点和前沿技术进行了深度解读，呈现了最新的研究成果。对相关领域的未来发展方向进行了展望，为读者了解人工智能相关领域的近期发展趋势，以及基础和应用研究的代表性成果提供了一个信息窗口。本报告是集严谨性、全面性、技术性和前瞻性为一体的专业领域报告，具有极高的学术价值和参考价值。不仅有利于推动我国人工智能研究探索，也为国家了解人工智能发展趋势、实施人工智能发展战略提供了重要参考。
