JeffDean谈2020年机器学习趋势：多任务和多模态将有长足进步2020年机器学习将走向何方？在加拿大温哥华举办的NeurIPS期间，JeffDean在接受外媒VB采访时交出了自己的展望。他认为多任务学习和多模态学习将会有很大的进步，更多有趣的设备会出现，让机器学习模型的作用更好。此外，他还谈到了如何利用机器学习来打造AI芯片，以及谷歌对BERT的看法等，作为谷歌AI的负责人，他的思想对从业者有很大的参考价值。量子比特整理如下：谈BERT：大家太强调SOTA了提问：对于BERT来说，今年是重要的一年。到处都是BERT，各种各样的BERT。BERT发生了怎样的变化？接下来会发生什么变化？JeffDean：BERT之所以有趣，是因为它建立在其他研究成果的进步之上。他在某种程度上依赖于一年前完成的Transformer工作。Transformer的工作实际上是在处理早期基于LSTM的序列模型中看到的问题。在我看来，就实际生成机器学习模型而言，这整个研究系列非常有成效。现在让我们处理更复杂的NLP任务，我们可以做得更多。在一堆/任意文本上微调预训练的BERT是我们希望解决的许多NLP问题的一个很好的范例。所以在谷歌内部，我们在自己的产品中也看到了不同的应用场景。例如，我们最近在搜索引擎中应用了BERT，以提高搜索质量。我认为您也应该在更广泛的背景下看待这一点。我们仍然希望看到能处理更多上下文的模型。就像现在，BERT和其他模型在数百个单词的文本上表现良好，但在数万个单词上表现不佳。这是一个有趣的方向。我认为多模态模型非常有趣。文本可以以有趣的方式与图像、音频或视频相结合。与社区的其他成员一样，我们已经在这方面做了一些工作，但我认为这在未来会变得更加重要。我相信人们会在BERT上有所改进。因此，基础研究也将继续进行。问：是的，我见过很多MT-DNN、RoBERTta之类的东西。JeffDean：是的，他们每个人都有一个可爱的名字。但我确实认为，对于在某些问题上获得前所未有的、更好的、最先进的结果有点过分强调了。并且对完全不同的解决问题的方法缺乏欣赏。这些方法可能不是最先进的，因为它们很难，但它们是一个非常值得探索的领域。问：比如稳健性？JeffDean：是的，或者“以完全不同的方式解决问题并看到希望很重要的想法”。如果人们追求这些方向，那将会很有趣。问：而不是试图登上GLUE排行榜的榜首？杰夫·迪恩：是的。谈AI芯片：后摩尔定律时代，专用芯片非常有效Q：在后摩尔定律的世界里，需要记住哪些东西？JeffDean：使用专用芯片代替CPU进行非通用计算已被证明是非常有效的。比如TPU或者GPU，虽然有很多局限性，但是都是围绕着机器学习计算需要做什么来设计的，相对于通用GPU来说，带来了很大的性能优势。因此，我们很难看到过去计算能力的大幅提升，但我们正在通过专业化获得更大的架构优势。问：您能否详细说明机器学习在创建机器学习硬件方面的应用？JeffDean：我们已经完成了一些将机器学习应用于ASIC芯片设计的早期工作，尤其是晶体管的布局及其连接方式。基本上现在在设计过程中，已经有一些工具可以帮助布局，但是还需要有人工布局布线专家来完成多次迭代。从开始设计您想要的设计，到将其放入芯片上并在面积、功率和线长上施加适当的限制，同时满足所有设计规划或制造工艺，通常需要一周以上的时间。所以事实证明，在某些工作中，我们可以使用机器学习来进行更自动化的布局和布线。我们基本上可以有一个机器学习模型来玩特定芯片的ASIC放置游戏。在我们内部试验的一些芯片上，也取得了不错的效果。谈2020：多任务学习和多模态学习将有长足进步Q：您认为2020年人工智能领域会出现哪些趋势或里程碑？JeffDean：我认为多任务学习和多模态学习将会有很大的进步，解决更多的问题。我以为那会很有趣。而且我认为将会有越来越多的有效设备（手机或其他类型的设备）来使模型更有效地工作。此外，与人工智能原理相关的工作显然很重要。但对于谷歌来说，我们是一个足够大的研究机构，我们有很多不同的驱动因素，很难说只有一个。但总的来说，我们会进一步发展最先进的技术，做基础的基础研究，以提高我们在许多重要领域的能力，比如NLP、语言模型或多模态事物。同时，我们也会与同事和产品团队合作，针对产品应用做一些研究，让他们打造有趣的功能和产品。我们要做一些谷歌还没有的应用，但是使用机器学习会很有趣，比如我们一直在做的芯片设计工作。问：喜欢日常机器人吗？JeffDean：是的，我们在机器人研究方面做了很多工作。我认为让机器人在某种随意的环境中工作是一个非常困难的问题。但过去几年我们在这个领域也取得了相当大的进展，我认为这也是一个值得研究的有趣方向。我们正在努力向前推进。
