自从计算机诞生以来，人类就梦想创造出可以思考的机器。1956年在达特茅斯学院举办的一次研讨会上，约翰·麦卡锡提出了人工智能的概念。一群数学家和科学家聚集在一起，研究如何让机器使用语言并形成抽象的理解和概念来解决现有问题。问题，研讨会参与者乐观地认为可以在几个月内取得真正进展。人工智能是由约翰麦卡锡于1956年在达特茅斯学院组织的一次研讨会上创造的，一群数学家和科学家聚在一起寻找如何让机器使用语言，形成抽象和概念，并解决现在保留的各种问题.问题，研讨会参与者乐观地认为，几个月的集中努力将带来真正的进展。1956年达特茅斯人工智能会议的与会者：MarvinMinsky、ClaudeShannon、RaySolomonov和其他科学家。摄影：玛格丽特·明斯基(MargaretMinsky)事实证明，在时间表中留出几个月过于乐观。在接下来的50年里，创建AI系统的各种方法开始流行，但随后就过时了，包括基于逻辑的系统、基于规则的专家系统和神经网络。直到2011年左右，人工智能才开始进入发展的关键阶段，取得了巨大进步，这要归功于深度学习中神经网络的复兴，这些进步有助于提高计算机看、听和理解周围世界的能力它们，使得人工智能在科学和人类探索的其他领域取得长足进步。这是什么原因？近日，谷歌大牛JeffDean发表了一篇文章《 A Golden Decade of Deep Learning: Computing Systems & Applications 》，探讨了深度学习黄金十年计算系统和应用进步的原因。本文重点关注三个领域：实现这一进步的计算硬件和软件系统；过去十年机器学习领域的一些激动人心的应用实例；以及如何创建更强大的机器学习系统，真正实现创造智能机器的目标。杰夫·迪恩(JeffDean)的这篇文章出现在美国艺术与科学学院(AmericanAcademyofArtsandSciences)的期刊AI&Society的特刊中，D?dalus。文章地址：https://www.amacad.org/sites/default/files/publication/downloads/Daedalus_Sp22_04_Dean.pdf深度学习人工智能硬件和软件的黄金十年人工智能硬件和软件的进步：DeepLearningThroughCombinationDifferent线性代数（如矩阵乘法、向量点积等类似运算），但这种运算会受到限制，所以我们可以构建专用计算机或加速器芯片来进行处理，相对于通用CPU，这种专业化的现代化加速器芯片可实现新的计算效率和设计选项。为支持此类计算而定制的计算机或加速器芯片。与必须运行更多种算法的通用CPU相比，这种专业化可实现新的效率和设计选择。早在2000年代初期，就有少数研究人员开始探索使用GPU来实现深度学习算法。然后，在2004年，计算机科学家Kyoung-SuOh和KeechulJung展示了使用GPU的神经网络算法的近20倍加速。2008年，计算机科学家RajatRaina及其同事证明，与某些无监督学习算法的基于CPU的最佳实现相比，GPU的加速高达72.6倍。随着计算硬件的改进，深度学习开始在图像识别、语音识别、语言理解等方面取得显着进步。深度学习算法有两个非常好的特性，允许构建专门的硬件：首先，它们对精度损失有很强的容忍度；其次，深度学习的计算方式，它由密集矩阵或向量上的不同线性代数运算序列组成。为了使深度学习和计算更容易，研究人员开发了开源软件框架。如今，开源框架帮助大量研究人员、工程师等推进深度学习研究，并将深度学习应用到更广泛的领域。一些早期的框架包括Torch、Theano、DistBelief、Caffe等，还有谷歌在2015年开源的TensorFlow，它是一个允许表达机器学习计算的框架，结合了Theano、DistBelief等早期框架的思想.迄今为止，TensorFlow的下载量已超过5000万次，是世界上最受欢迎的开源软件包之一。PyTorch于2016年发布，在TensorFlow发布一年后，因其易于使用Python表达各种研究思想而受到研究人员的欢迎。JAX于2018年发布，是一个流行的Python开源库，它结合了复杂的自动微分和底层XLA编译器，TensorFlow也使用它来有效地将机器学习计算映射到各种不同类型的硬件。TensorFlow和PyTorch等开源机器学习库和工具的重要性怎么强调都不为过，它们使研究人员能够快速尝试想法。随着世界各地的研究人员和工程师更容易地相互借鉴，整个领域的进步将会加速！ResearchExplosion研究的进步、ML硬件（GPU、TPU等）计算能力的增强，以及开源机器学习工具（TensorFlow、PyTorch等）的广泛采用，结果急剧增加。一个强有力的指标是发布到arXiv（一种流行的预印本托管服务）的机器学习领域的论文数量，2018年发表的论文数量是2009年（每两年一次）的32倍多。每年翻一番以上）。通过与气候科学和医疗保健等关键领域的专家合作，机器学习研究人员正在帮助解决造福社会和推动人类进步的重要问题。可以说，我们生活在激动人心的时代。科学与工程应用激增计算能力的变革性增长、机器学习硬件和软件的进步以及机器学习研究成果的激增导致机器学习在科学与工程中的应用激增。通过与气候科学和医疗保健等关键领域合作，机器学习研究人员正在帮助解决造福社会和促进人类发展的重要问题。这些科学和工程领域包括：神经科学分子生物学医学健康天气、环境和气候挑战机器人技术可访问性个性化学习计算机辅助创造力重要构建模块变压器计算机系统ML有关每个部分的详细信息，请参阅原文。机器学习的未来ML研究社区正在出现一些有趣的研究方向，如果结合起来可能会更有趣。首先，稀疏激活模型的研究，例如稀疏门控混合专家模型（Sparsely-GatedMoE），展示了如何构建非常大容量的模型，其中对于任何给定的实例（例如，两到三名专家来自2048)，只有一部分模型被“激活”。其次，研究自动化机器学习(AutoML)，其中神经架构搜索(NAS)或进化架构搜索(EAS)等技术可以自动学习有效结构或ML模型或组件的其他方面，以优化给定任务的准确性。AutoML通常涉及运行许多自动化实验，每个实验都可能是计算密集型的。最后，在几个到几十个相关任务的适当规模下进行多任务训练，或者从针对相关任务的大量数据训练的模型迁移学习，然后针对新任务对少量数据进行微调，已被证明在解决各种问题方面非常有效。一个非常有趣的研究方向是结合以上三个趋势，一个系统运行在大规模机器学习加速器硬件上。目标是训练一个可以执行数千甚至数百个任务的单一模型。这样的模型可能由许多不同结构的组件组成，并且实例（示例）之间的数据流在个案基础上是相对动态的。模型可以使用稀疏门控专家混合和学习路由等技术来生成非常高容量的模型，但其中单个任务或实例仅稀疏地激活系统中总组件的一小部分。下面的图1描绘了一个多任务、稀疏激活的机器学习模型。每个组件本身可能正在运行一些类似AutoML的模式搜索，以使组件的结构适应路由到它的数据类型。新任务可以利用在其他任务上训练过的组件，只要它有用。JeffDean希望通过超大规模的多任务学习、共享组件和学习路由，模型可以快速高精度地完成新任务，即使每个新任务的新实例相对较少。原因是该模型能够在执行其他相关任务时利用它已经获得的专业知识和内部表示。构建一个可以处理数百万个任务并自动学习执行新任务的单一机器学习在人工智能和计算机系统工程领域是一个非常大的挑战。这需要机器学习算法、负责任的人工智能（例如公平性和可解释性）、分布式系统和计算机体系结构等许多领域的专业知识，通过为新任务构建系统来推进该领域的发展，从而独立解决机器学习所有应用领域中的问题的人工智能。负责任的AI开发虽然AI有能力在人们日常生活的各个方面提供帮助，但所有研究人员和从业者都应确保以负责任的方式开发相关方法，仔细审查偏见、公平性、隐私问题和有关AI工具的其他问题如何发挥作用和影响他人的社会因素，并努力以适当的方式解决所有这些问题。制定一套明确的原则来指导负责任的人工智能开发也很重要。2018年，谷歌发布了一套AI指南，指导企业开展AI相关工作和使用。这套人工智能指南概述了需要考虑的重要领域，包括机器学习系统中的偏见、安全、公平、问责制、透明度和隐私。近年来，其他机构和政府也效仿这种模式，发布了自己的人工智能使用指南。JeffDean希望这种趋势能够持续下去，直到它不再是一种趋势，成为所有机器学习研究和开发中遵循的标准。JeffDean对未来的展望2010年代确实是深度学习研究和进步的黄金十年。1956年达特茅斯人工智能研讨会上提出的一些最棘手的问题在这十年中已经取得了长足的进步。机器将能够以早期研究人员希望的方式看到、听到和理解语言。核心领域的成功导致了许多科学领域的重大进步。智能手机不仅变得更智能，而且随着人们不断创造对日常生活有帮助的更复杂、更强大的深度学习模型，未来还有更多的可能性。得益于强大的机器学习系统的帮助，未来的人们将更具创造力和能力。
