书面文章｜杰夫·迪恩（Jeff Dean）
汇编｜机器的心脏
编辑du wei，Chen Ping
自计算机开始以来，人类一直梦想着创建可以思考的机器。在1956年，在Datmouth学院组织的一次研讨会上，约翰·麦卡锡（John McCarthy）提出了人工智能的概念。一群数学家和科学家聚集在一起，找到如何使机器使用语言，形成抽象的理解和概念来解决每个现有的每个人的现有人。。
Datmouth人工智能会议的参与者于1956年举行：Marvin Minski，Claude Frameon，Ray Solomonov和其他科学家。
事实证明，保留几个月的时间太乐观了。在接下来的50年中，创建人工智能系统的各种方法已变得流行，包括逻辑系统，基于规则的专家系统和神经网络，但后来变得过时了。
直到2011年左右，由于深度学习中神经网络的复兴，人工智能开始进入发展的关键阶段并取得了长足的进步。这些技术的进步有助于提高计算机观察，倾听和理解周围世界的能力，使人工智能在科学和人类探索的其他领域取得了重大进展。这是什么原因？
最近，该文章“深度学习的黄金十年：计算系统和应用程序”由Google Daniel Jeffsome在机器学习领域发表；如何创建更强大的机器学习系统来真正实现创建智能机器的目标。
杰夫·迪恩（Jeff Dean）的文章发表在《美国艺术与科学协会戴卢斯（AI and Society）的特殊问题》中。
1
人工智能硬件和软件：深度学习是通过不同的线性代数（例如矩阵乘法，向量点和类似操作）计算的，但是此操作方法将受到限制。因此，必须使用一般的CPU，必须运行更广泛的算法，这种专用的加速器芯片可以带来新的计算效率和设计选择。
早在2000年代初期，一些研究人员就开始探索使用GPU来实现深度学习算法的使用。By2004年，计算机科学家Kyoung-su Oh和Keechul Jung展示了使用GPU通过GPU提高神经网络算法速度的速度。在2008年，在一些无监督的学习算法中，计算机科学家Rajat Raina及其同事比较了GPU和CPU的最佳实施，其中GPU速度增加了72.6倍。
随着计算硬件的改进，深度学习已经开始对图像识别，语音识别和语言理解进行重大改进。为了构建专用硬件，深度学习算法具有两个非常好的特征：首先，它们非常容忍降低准确性；其次，深度学习算法所需的计算几乎完全由矢量上的密集矩阵或不同的线性代数代数计算序列组成。
为了使深度学习和计算更加容易，研究人员已经开发了软件框架。如今，开源框架可以帮助大量的研究人员和工程师促进深度学习研究，并将深度学习应用于更广泛的领域。
一些早期框架包括火炬，Theano，Distbelief，Caffe等，以及Google在2015年的开源Tensorflow。该框架可以表达机器学习计算的表达并结合了早期框架，例如Theano和Distbelief。迄今为止，TensorFlow已下载超过5000万次，这是世界上最受欢迎的开源软件包之一。
Tensorflow发行后一年，Pytorch于2016年发行。它使用Python轻松表达各种研究思想并受到研究人员的欢迎。JAX于2018年发行。这是Python的流行开源库，结合了复杂的自动微型科目和基础XLA编译器。TensorFlow还使用XLA有效地将机器学习映射到各种类型的硬件。
开源机器学习库和工具（例如Tensorflow和Pytorch）的重要性并未被夸大。他们允许研究人员快速尝试他们的想法。作为世界各地的研究人员和工程师，根据彼此的工作，更容易建立，整个领域的进步将加速！
2
研究继续取得进展，ML硬件（GPU，TPU等）的计算功能得到了不断增强。开源机器学习工具（Tensorflow，Pytorch等）被广泛使用。这一系列的进步有效
强有力的指标之一是在Arxiv上的机器学习领域的论文数量。在2018年，ARXIV发表的预印刷论文数量在2009年超过32次（每两年增加一倍以上）。
通过气候科学和医疗保健等关键领域的专家，机器学习研究人员正在帮助解决有利于社会并促进人类进步的重要问题。可以说我们生活在一个令人兴奋的时代。
3
计算能力的变化，机器学习软件和硬件的进步以及机器学习研究结果的增加促进了机器学习中科学和工程的激增。通过与气候科学和医学和健康等关键领域的合作，机器学习研究人员正在帮助解决有利于社会并促进人类发展的重要问题。这些科学和工程领域包括：
有关每个细分的详细信息，请参阅原始文本。
4
ML研究界有一些有趣的研究指示，如果它们结合起来，可能会更有趣。
首先，研究稀疏激活模型。例如，稀疏的门控制专家混合模型（稀疏门控的MOE）显示了如何构建非常大容量的模型。其中，对于任何给定的实例（例如2048名专家中的两到三个）（激活）。
其次，研究自动化机器学习（AUTOML）。在它们的途中，神经体系结构搜索（NAS）或进化体系结构（EAS）等技术可以自动学习ML模型或组件的有效结构或其他方面，以优化给定任务的准确性。汽车通常涉及许多自动实验，每个实验可能包括巨大的计算。
最后，通过数十个相关任务的适当量表或从相关任务进行大量数据培训的模型进行多个任务培训，然后对新任务进行少量数据进行细微介绍。这些方法已被证明是证明的。在解决各种问题时，这是非常有效的。
一个非常有趣的研究方向是结合上述三个趋势并在大型ML加速器硬件上运行系统。目标是训练可以执行数千甚至数百个任务的单个模型。
该模型可能由许多不同的结构组成，示例之间的数据流相对动态，基于示例。该模型可以使用诸如稀疏门控制专家和学习路由等技术来生成非常大的功能模型，但是其中一个任务或实例仅激活系统中总组件的一小部分。
下图描述了一个多任务处理，稀疏激活的机器学习模型。
每个组件本身可能会运行某些自动化的架构搜索，以使组件的结构适应数据的数据类型到其数据。新任务可用于对其他任务进行培训的组件，只要有用。
杰夫·迪恩（Jeff Dean）希望，通过非常大的多任务学习，共享组件和学习路线，该模型即使每个新任务的新示例较少，也可以快速完成新任务。原因是模型可以使用完成其他相关任务时获得的专业知识和内部特征。
在人工智能和计算机系统工程领域中建立一个可以处理数百万个任务并自动完成新任务的单个机器学习系统是一个巨大的挑战。这需要在许多领域的专业知识，例如机器学习算法，负责AI（例如作为公平性和解释性），分布式系统和计算机架构，以通过机器学习在机器学习中的所有应用中建立广义的独立性。解决解决新任务以促进人工智能发展的系统。
5
尽管AI具有在人们日常生活的各个方面的帮助，但所有研究人员和从业人员都应确保以负责任的方式开发相关方法，仔细审查AI工具如何工作和影响的偏见，公平，隐私问题以及其他方式其他。社会因素，并努力以适当的方式解决所有这些问题。
制定一组明确的原则来指导负责人的AI.IN 2018，Google发布了一套AI标准，以指导与工作和使用相关的企业。此II标准列出了需要考虑的重要领域，包括机器学习系统中的偏见，安全，公平，问责制，透明度和隐私。
近年来，其他机构和政府也遵循了该模型，并发布了自己的AI使用标准。JeffDean希望这种趋势能够持续到它不再是趋势，但已成为所有机器学习研究和开发的标准。
6
在2010年代，这确实是十年的深度学习研究和进步。在1956年，在大达茅斯人工智能研讨会上提出的最困难的问题已经在过去十年中取得了长足的进步。以早期研究人员的方式了解语言。
核心领域的成功促使科学领域的许多重大进展。不仅智能手机更加聪明，而且随着人们继续创造更复杂，更复杂，更强大和有用的日常生活，将来还有更多的可能性。感谢强大的机器学习系统提供的帮助，人们将变得更具创造力将来更强壮。
（在此翻译授权后发布。原始链接：
https://www.amacad.org/publication/golden-decade-deep--lenching-computing-systems-应用程序）
欢迎体验Oneflow v0.7.0的最新版本：https：//github.com/oneflow-ic/oneflow/