人工智能不再准备有一天改变世界，而是正在改变它。在我们进入新的一年和十年之际，VentureBeat邀请了人工智能领域一些最敏锐的头脑来回顾2019年取得的成就，并展望机器学习在2020年将如何成熟。每个人都对未来一年有预测，但这些是这些人——人工智能领域的权威人物——正在塑造今天的未来，重视科学追求，他们的经验使他们具有可信度。虽然一些人预测半监督学习和神经符号方法等子领域会取得进展，但几乎所有ML名人都报告了2019年基于Transformer的自然语言模型的巨大进步，并期待面部识别方面的进步。识别等技术方面将继续存在争议。他们还希望看到人工智能领域发展出比准确性更有价值的东西。SoumithChintala校长、首席工程师和PyTorch的创造者无论您怎么说，PyTorch都是当今世界上最流行的机器学习框架。PyTorch是2002年推出的Torch开源框架的衍生产品，于2015年面世，并在扩展和库方面稳步增长。今年秋天，Facebook发布了支持量化和TPU的PyTorch1.3，以及深度学习可解释性工具Captum和PyTorchMobile。还有PyRobot和PyTorchHub之类的东西，用于共享代码并鼓励ML从业者支持可重复性。今年秋天在PyTorchDevConference上，Chintala在与VentureBeat的对话中表示，他在2019年的机器学习方面几乎没有什么突破。时间在2012年，变形金刚在2017年左右。这是我个人的看法，”他说。他继续称DeepMind的AlphaGo在强化学习方面的贡献具有开创性，但表示它们很难应用于现实世界中的实际任务。Chintala还认为，当今机器学习从业者中流行的PyTorch和谷歌的TensorFlow等机器学习框架的发展已经改变了研究人员探索想法和开展工作的方式。“从某种意义上说，这是一项突破，它使他们能够比以前更快地移动一两个订单，”他说。今年，谷歌和Facebook的开源框架引入了量化来加速模型训练。在未来几年，Chintala预计PyTorch的JIT编译器和神经网络硬件加速器（如Glow）的重要性和采用率将“爆炸式增长”。“通过PyTorch和TensorFlow，你已经看到了框架的融合。量化的原因，以及一系列其他较低级别的效率，是因为下一场战斗是框架的编译器——XLA、TVM，PyTorch有Glow，A许多创新正在等待发生。”他说，“在接下来的几年里，你会看到……如何更智能地量化，如何更好地混合，如何更有效地使用GPU，以及如何为新硬件自动化处理编译。”与大多数其他行业领导者一样，Chintala预测，到2020年，AI社区将更加重视AI模型的性能，而不仅仅是准确性，并开始将注意力转向其他重要因素，例如创建模型所需的权重、输出如何被解释给人类，以及人工智能如何更好地反映人们想要建立的社会类型。“如果你想想过去五六年，我们只是专注于准确性，像Nvidia的模型这样的原始数据更准确吗？Facebook的模型更准确吗？”他说，“我实际上认为2020年将是我们的一年。一年开始思考（以更复杂的方式）如果你的模型比现在准确3%并不重要......如果你的模型......没有良好的互操作性机制（或满足其他标准）”SeleiCelesteKidd，加州大学伯克利分校的发展心理学家CelesteKidd是加州大学伯克利分校Kidd实验室的主任，她和她的团队在那里探索儿童的学习方式。他们的见解可以帮助神经网络的创造者，他们正在尝试训练模型在某种程度上，这与抚养孩子没有什么不同。“没有关于人类婴儿的标记数据集，但它们经过精心策划，对我们来说了解正在发生的事情很重要，”她说。“2019年让Kidd感到惊讶的事情之一是神经网络创造者的数量随意贬低他们自己或其他研究人员的工作，因为他们不能做婴儿可以做的事情。当你对婴儿的行为进行平均时，你看到证据表明他们知道一些事情，但他们绝对不是完美的学习者，这种谈话描绘了一幅关于婴儿能力的过于乐观的画面。“人类婴儿非常伟大，但他们犯了很多错误，我经常看到很多人随意进行的比较，将婴儿的行为理想化为人口水平。“我认为人们可能会越来越清楚你现在知道的和你接下来想知道的之间的联系。”“在人工智能，“黑匣子”一词已经存在多年。它曾经被用来批评神经网络缺乏可解释性，但Kidd认为2020年可能意味着神经网络不可解释性观念的终结。她说：“黑匣子的论点是假的……大脑也是一个黑匣子，我们在理解大脑如何工作方面取得了很大进展。为了揭开对神经网络的这种理解的神秘面纱，Kidd研究了像OddOliva这样的研究人员，麻省理工学院-IBM沃森人工智能实验室（MIT-IBMWatsonAILab）的执行董事AudeOliva。“我们正在谈论它，我说了一些关于系统是黑匣子的事情，她正确地斥责了我，说当然他们不是黑盒子。当然，你可以把它们分解开来，看看它们是如何工作的，并用它们做实验，就像我们理解认知一样。基德说。上个月，基德在神经信息处理系统(NeurIPS)会议上发表了开幕主题演讲，这是世界上最大的年度人工智能研究会议。她的演讲重点是人脑如何坚持顽固的信念、注意力系统和贝叶斯统计。她说，消息传递的“舒适区”介于一个人以前的兴趣和理解与让他们感到惊讶的事物之间。人们往往不太会接触到内容过于惊奇的事物。然后她说没有中立的技术平台，她将注意力转向内容推荐系统的制造商如何操纵人们的信仰。为追求最大参与度而构建的系统如何塑造人们的信念和观点会产生重大影响。在她的演讲中，基德解决了男性在机器学习领域的误解，即与女性同事单独相处会导致性骚扰指控并终结男性的职业生涯。她说，这种误解反而会损害女性在该领域的职业生涯。由于她对罗切斯特大学性行为不端的评论，基德与其他帮助实现我们现在所知的“平等对待妇女运动”的女性一起被评为2017年“年度人物”。当时，基德认为说出来会结束她的职业生涯。她希望看到2020年人们越来越意识到技术工具和技术决策对现实生活的影响，并反对工具制造商对人们如何使用它们不负责任的观点。“我听到很多人试图通过说‘我不是真理的判断者’来为自己辩护，”她说。“我认为必须有更多人意识到这是一种不诚实的立场。”拥有这些工具的人，我们真的需要直接意识到随之而来的责任。”JeffDean谷歌AI总监Dean领导谷歌AI将近两年，但他已经在谷歌工作了二十年，他是架构师谷歌早期搜索和分布式网络算法的创始人，也是谷歌大脑的早期成员。Dean上个月在NeurIPS与VentureBeat进行了交谈，他在会上就ASIC半导体设计的机器学习以及AI社区应对气候变化的方式发表了演讲，他说这是我们这个时代最重要的问题。在关于气候变化的讨论中，Dean讨论了人工智能可以努力成为零碳产业的想法，以及人工智能如何用于帮助改变人类行为。他预计2020年看到多模态学习领域的进展，一种依赖多种媒体进行训练的人工智能，以及多任务学习，它涉及旨在一次完成多个任务的网络。毫无疑问，其中一个大2019年最大的机器学习趋势是基于Transformer的自然语言模型的持续增长和扩散，此前模型Chintala被称为近年来人工智能领域最大的突破之一。谷歌在2018年开源了基于Transformer的模型BERT。根据GLUE排行榜，今年发布的许多最高性能模型（如谷歌的XLNet、微软的MT-DNN和Facebook的RoBERTa）都是基于Transformer的。公司发言人告诉VentureBeat，XLNet2将于本月晚些时候发布。注意到已经取得的进展，Dean说，“......我认为整个研究线程在实际生产机器学习模型方面非常富有成效，[现在让我们]做的比已经能够做到的要复杂得多过去做过。但他补充说，仍有增长空间。“我们仍然希望能够创建更符合上下文的模型。BERT和其他模型，就像现在一样，可以很好地处理数百个单词，但不能处理多达10,000个单词的上下文。所以这是一个有趣的方向”Dean说他想减少对最新技术的强调，以支持创建更强大的模型。谷歌AI还将致力于推进新举措，例如EverydayRobot，这是一个于2019年11月启动的内部项目，旨在创造可以完成家庭和工作场所常见任务的机器人。Nvidia机器学习研究总监AnimaAnandkumarAnandkumar在AWS担任首席科学家后加入GPU制造商Nvidia。在Nvidia，人工智能研究在多个领域进行，从医疗保健的联邦学习到自动驾驶、超级计算机和图形。Nvidia和Anandkumar在2019年关注的领域之一是强化学习的模拟框架，该框架越来越受欢迎和成熟。2019年，我们看到了Nvidia的Drive自主驾驶平台和Isaac机器人模拟器的兴起，以及从模拟和生成对抗网络(GAN)生成合成数据的模型。去年也迎来了AI的兴起，例如StyleGAN（一种可以让人们无法分辨他们正在看的是计算机生成的人脸还是真人的网络）和GauGAN（一种可以生成风景的网络）一支画笔）。StyleGAN2于上个月首次亮相。GAN是可以模糊现实边界的技术，Anandkumar认为它们可以帮助AI社区试图解决的重大挑战，例如抓取机械臂和自动驾驶。Anandkumar还预计来年在迭代算法、自我监督和自我训练方法方面取得进展，这些方法训练的模型可以通过对未标记数据进行自我训练来改进。“我认为各种迭代算法都是未来，因为如果你只做一个前馈网络，那么鲁棒性就会成为一个问题，”她说。如果类型或精度需要针对迭代进行调整，那么就有更多机会实现这一目标。”Anandkumar看到AI社区在2020年面临的许多挑战，例如需要与领域专家合作创建行业特定的模型。政策制定者、个人和AI社区还需要解决代表性问题，以及确保用于训练模型的数据集涵盖不同人群的挑战。“我认为[面部识别问题]很容易理解，但在很多[其他领域]......人们没有意识到使用数据存在隐私问题，”她说。Anandkumar表示，面部识别之所以受到最多关注，是因为很容易理解面部识别如何侵犯个人隐私，但2020年AI社区还面临许多其他伦理问题。“我们将对如何进行越来越多的审查数据的收集及其使用方式。这在欧洲正在发生，但在美国我们肯定会看到更多，并且出于正确的原因，我们将看到更多这样的事情，例如NTSB和FTA，“她说。在Anandkumar看来，2019年的一大惊喜是文本生成模型的发展速度。“2019年是语言模型年，对吧？现在，我们第一次在段落长度上实现了更连贯的文本生成，这在以前是不可能的，但现在非常好，”Anandkumar说。2019年8月，Nvidia推出了Megatron自然语言模型。Megatron拥有80亿个参数，是世界上最大的基于Transformer的AI模型。Anandkumar说，她对人们开始将模型描述为具有个性或性格的方式感到惊讶，她希望看到更多针对特定行业的文本模型。“我们还没有处于生成交互式对话、可以跟踪和进行自然对话的阶段。所以我认为在2020年会有更认真的尝试朝这个方向发展，”她说。例如，开发一个控制文本生成的框架比开发一个识别人或物体图像的框架更具挑战性。文本生成模型也可能面临挑战，例如为神经模型定义事实。最后，Anandkumar表示，她很高兴看到Kidd在NeurIPS上的演讲获得全场起立鼓掌，并为机器学习社区日益成熟和接受的迹象而感到鼓舞。“我觉得这是一个分水岭时刻，”她说。“一开始甚至很难做出小的改变，然后大坝决堤了。我希望是这样，因为在我看来，我想保持这种势头并做出更大的改变。”让所有的团体，这里的每个人都茁壮成长。”DarioGilIBMResearch总监Gil领导着一个研究团队，积极为白宫和世界各地的企业提供建议。他认为2019年的重大飞跃包括围绕生成模型的进步以及生成可信语言的质量不断提高。他预测，在降低精度的架构上进行更有效的培训将继续取得进展。开发更高效的AI模型是NeurIPS的重点，IBMResearch在此引入了具有8位精度模型的深度学习技术。“我们使用现有硬件和GPU架构训练深度神经网络的效率仍然很低，”他说。因此，从根本上反思这个问题非常重要。我们必须提高人工智能的计算效率，这样我们才能做得更多。吉尔引用研究表明，机器学习培训的需求每三个半月翻一番，增长率比摩尔定律预测的要快得多。Gill也对AI如何帮助加速科学发现感到兴奋，但IBMResearch将主要关注机器学习的神经符号方法。Gill希望AI从业者和研究人员将重点放在准确性以外的指标上，以考虑在生产中部署的模型的价值。将领域转向构建可信系统而不是准确性首先，这将成为继续采用人工智能的核心支柱。”社区中的一些人可能会继续说，‘别担心，只要提供准确性即可。没关系，人们会习惯这个有点像黑盒子的东西，”或者他们会争辩说人们有时对我们做出的某些决定没有解释。我认为我们集中智力并做得更好是非常重要的。人工智能系统不能成为关键任务应用程序的黑匣子。”Jill认为，要摆脱只有少数机器学习奇才才能做AI的观念，以确保更多具有科学和软件工程技能的人采用AI。他说：“如果我们把它当作一个神秘的领域，那就是AI领域，它只对从事这方面研究的博士开放，并没有真正推动人工智能的应用。”兴趣。IBM将寻求神经符号方法来增强诸如概率编程之类的能力，在这种方法中，AI学习如何操作程序并可以共享其决策背后原因的模型。他说：“通过采用这种混合方法，一种新的当代方法，通过这些神经符号方法，学习和推理被结合在一起。在这种方法中，符号维度嵌入到学习过程中。我们已经证明，你可以通过您需要的数据的一小部分。”“因为你学习了一个程序，你最终得到了一些可以解释的东西，并且因为你有了一些可以解释的东西，你得到了一些更合理的东西。公平性、数据完整性和数据集选择等问题将继续引起广泛关注，他说，“与生物识别技术相关的任何事情都将如此。”面部识别得到了很多关注，但这只是开始语音数据以及其他形式的生物识别技术将变得越来越敏感。他接着引用了哥伦比亚大学教授RafaelYuste的话，他从事神经技术研究，正在探索在视觉皮层上提取神经模式的方法。吉尔说：“我举的例子是，与身份、人的生物识别和人工智能分析有关的所有进步将继续成为前沿和中心。”除了神经符号和常识推理（麻省理工学院的一项旗舰计划）-IBMWatsonLab)，Gill表示，2020年，IBMResearch还将探索AI量子计算，以及AI模拟硬件，而不仅仅是降低精度的架构。接受VentureBeat采访的研究人员和专家总结了机器学习正在继续塑造商业和社会的结论：自然语言模型的进步是2019年的主要故事，因为变形金刚推动了巨大的飞跃。In2020LookformorevariantsofBERT-basedandTransformer-basedmodelsin2020.AI行业应该寻找评估模型输出准确性的方法。诸如半监督学习、用于机器学习的神经符号方法以及诸如模式学习之类的多任务和多子领域的方法很可能在明年出现。与生物识别数据（如录音）相关的伦理挑战可能会继续存在争议。编译器和量化方法很可能会出现在PyTorch和TensorFlow中。在机器学习框架中流行，作为优化模型性能的一种方式。
