编辑| CJ简介：本文介绍了Google Brain团队去年在人工智能方面取得的成就。
这是第一部分，重点介绍Google在2016年所做的一些工作，包括一些基础研究工作，以及开源软件、数据集和机器学习新硬件的更新。
谷歌大脑负责人 Jeff Dean 今天发布了自动机器学习、语义理解与语言生成、机器学习算法、机器学习系统等核心研究工作报告，全面总结了谷歌大脑 2018 年取得的成果。
是为了提高我们解决机器学习领域新问题的理解和能力。
以下是我们去年研究的一些主题。
1. 自动机器学习（AutoML） 自动机器学习的目标是开发一种技术，使计算机能够自主解决新兴的机器学习问题。
在这个过程中，人类机器学习专家不需要干预每个新问题。
解决。
如果我们最终能够构建真正的智能系统，这是我们需要的最基本的功能。
我们将强化学习和进化算法结合起来，开发了一种设计神经网络架构的新方法。
该方法经过ImageNet（计算机视觉系统识别项目，目前全球最大的图像识别数据库）进行了分类和测试，结果表明是目前最先进的。
方法。
我们还展示了如何自动学习新的优化算法和高效的激活函数。
我们正在积极与谷歌的Cloud AI团队合作，希望将这项技术带给谷歌用户，同时也在多个方向推进这项研究。
2.语义理解和语言生成 Google Brain团队开发了新技术，可以提高计算系统的语义理解和语言生成能力。
在此过程中，谷歌语音识别系统的相对单词错误率成功降低了16%。
这项工作的一个好处是它需要许多独立的研究线索（可以在 Arxiv 上找到：1,2,3,4,5,6,7,8,9）。
同时，Google Brain 团队还与 Google Machine Perception 团队一起开发了一种新的语音文本生成方法（Tacotron 2），极大地提高了生成语音的质量。
该模型的平均意见得分 (MOS) 为 4.53，而专业录制的有声读物语音的 MOS 为 4.58，目前最好的计算机语音系统的 MOS 为 4.34。
3.新的机器学习算法和方法我们继续开发新的机器学习算法和方法，包括胶囊（在执行视觉任务时明确寻找激活特征的一致性，作为评估许多不同噪声假设的方法）、稀疏门控混合-专家（这种方法可以使非常大的模型仍然具有计算效率），超网络（使用一个模型的权重来生成另一个模型的权重），新型多模态模型（可以跨音频执行多任务学习，同一模型中的视觉和文本输入）、基于注意力的机制（如卷（卷积模型和循环模型的替代方案）、符号和非符号学习优化方法、通过离散变量的反向传播技术以及一些新的强化学习4. 计算机系统中的机器学习 我们对使用机器学习来取代计算机系统中的传统启发式方法非常感兴趣。
我们展示了如何使用强化学习来做出放置决策，将计算图映射到一组计算设备上，机器结果优于人类专家。
在“学习索引结构案例”中，演示了神经网络。
神经网络比传统数据结构（例如 B 树、哈希表、布隆过滤器）更快、更小。
5.隐私和安全机器学习及其与安全和隐私的交互仍然是我们的主要研究重点。
我们在一篇获得 ICLR 最佳论文奖的论文中展示了机器学习技术可以以提供不同隐私保证的方式应用。
我们还继续研究对抗性示例的性质，包括物理世界中的对抗性示例，以及如何在训练过程中大规模利用对抗性示例，以使模型在面对对抗性示例时更加稳健。
6.了解机器学习系统虽然我们在深度学习方面看到了令人印象深刻的成果，但了解它为何有效以及何时无效也很重要。
在 ICLR 最佳论文奖中，我们发现当前的机器学习理论框架无法解释深度学习方法现在所取得的重大成果。
同时，我们还发现，优化方法找到的极小值的“平坦度”并不像最初想象的那样与其泛化能力密切相关。
为了更好地理解深度架构上的训练如何进行，我们发表了一系列分析随机矩阵的论文，因为它们是大多数训练方法的起点。
理解深度学习的另一个重要方法是更好地衡量其表现。
在最近的一项研究中，我们证明了良好的实验设计和严格的统计数据的重要性，比较了许多生成对抗网络（GAN）方法，发现许多流行的生成模型的优化处理并没有提高它们的性能。
。
我们希望这项研究能为其他研究人员提供可靠的实验研究的例子。
我们正在开发能够更好地解释机器学习系统的方法。
3月份，它与OpenAI、DeepMind、YC Research等公司合作，宣布推出在线开放科学期刊Distill，致力于支持人类对机器学习的理解。
它因其对机器学习概念的清晰解释和出色的交互式可视化工具而赢得了广泛好评。
在第一年，Distill 发表了许多引人注目的文章，旨在了解各种机器学习技术的内部工作原理，我们期待在未来几年有更多的可能性。
7、机器学习研究的开放数据集 MNIST、CIFAR-10、ImageNet、SVHN、WMT等开放数据集极大地推动了机器学习领域的发展。
总的来说，我们的团队和 Google 研究在过去一年左右的时间里一直在积极为开放机器学习研究开放有趣的新数据集，提供更多大型标记数据集，包括： YouTube-8M：使用 4 个 YouTube 边界框用不同类别注释的 10,000 个 YouTube 视频：来自 10,000 个 YouTube 视频的 10,000 个边界框 语音命令数据集：使用短命令的 10,000 个发言者 音频集：10,000 个 10 秒 YouTube 剪辑，已标记 有不同的声音事件 原子视觉动作 (AVA)：57、210,000 个动作在视频剪辑中 带标签的开放图像：900 万个知识共享许可图像，用类别标记 带边界框的开放图像：120 万个类别 Bounding Box 8、TensorFlow 和开源软件 在我们团队的整个历史中，我们构建了帮助我们进行操作的工具机器学习研究并在许多 Google 产品中部署机器学习系统。
今年11月，我们开源了第二代机器学习框架TensorFlow，希望机器学习社区能够从机器学习软件工具的投资中受益。
今年2月份，我们发布了TensorFlow 1.0，11月份，我们发布了1.4版本，包括：交互式命令式编程的热切执行、针对TensorFlow程序XLA和TensorFlow Lite、嵌入式设备的优化编译器。
预编译的 TensorFlow 二进制文件现已在多个国家/地区下载超过 1000 万次，GitHub 上的源代码现在有超过 100 名贡献者。
今年2月，我们举办了首届TensorFlow开发者峰会。
许多人参加了山景活动。
我们在全球超过35个国家和地区举办了超过85场当地观赛活动，超过100人观看了赛事。
所有演讲都会被录制，主题包括新功能、使用 TensorFlow 的技巧或低级 TensorFlow 抽象的详细信息。
我们将于 3 月 30 日在湾区举办另一场 TensorFlow 开发者峰会。
立即注册以保存日期并随时了解最新消息。
11 月，TensorFlow 庆祝其作为开源项目两周年。
看到充满活力的 TensorFlow 开发者和用户社区的出现是非常值得的。
TensorFlow 是 GitHub 上第一个机器学习平台，也是 GitHub 上排名前五的软件存储库之一。
它被许多公司和组织使用，包括 GitHub 上超过 24 个与 TensorFlow 相关的不同软件存储库。
现在发表的许多研究论文都附带开源 TensorFlow 实现，以配合研究结果，使社区更容易理解所使用的确切方法并重现或扩展工作。
TensorFlow 还受益于其他 Google 研究小组的开源相关工作，包括 TF-GAN（用于 TensorFlow 中生成对抗模型的轻量级库）、TensorFlow Lattice（一组用于处理格模型的估计器）以及 TensorFlow 对象检测 API。
TensorFlow 模型库随着越来越多的模型而不断发展。
除了TensorFlow之外，我们还发布了deeplearn.js，这是一个在浏览器中实现的开源硬件加速深度学习API（无需下载或安装任何东西）。
deeplearn.js 主页有许多很棒的示例，包括“Education Machine”（一种可以使用网络摄像头训练的计算机视觉模型）和“Playing RNN”（基于实时神经网络的钢琴演奏和演奏演示）。
我们将致力于在 2020 年将 TensorFlow 模型直接部署到 deeplearn.js 环境中。
9. TPU 大约五年前，我们意识到深度学习将显着改变我们所需的硬件类型。
深度学习计算的计算量非常大，但它们有两个特殊的属性：它们主要由密集的线性代数运算（矩阵乘法、向量运算等）组成，并且它们对精度降低具有非常高的容忍度。
我们意识到我们可以利用这两个属性来构建可以非常有效地运行神经网络计算的专用硬件。
我们向 Google 的平台团队提供了设计输入，他们设计并生产了我们的第一代张量处理单元 (TPU)：一种单芯片 ASIC，旨在加速深度学习模型的推理（推理是使用经过训练的神经网络来完成的，这与训练不同）。
第一代 TPU 已在我们的数据中心部署了三年，并已用于每次 Google 搜索查询、Google 翻译、Google Photos 中的图像，并与 Lee Sedol 和 Ke Jie 一起用于 AlphaGo。
该游戏还用于许多其他研究和产品。
6 月，我们在 ISCA 上发表了一篇论文，表明第一代 TPU 的速度比现代 GPU 或 CPU 同类产品快 15 至 30 倍，性能/功耗约为 30 至 80 倍。
推理很重要，但加速训练过程是更重要的问题&#;并且更加困难。
研究人员越快尝试新想法，我们就能取得越多的突破。
我们在 5 月份的 Google I/O 大会上宣布的第二代 TPU 是一个完整的系统（定制 ASIC 芯片、电路板和互连），旨在加速训练和推理，我们展示了单一设备配置以及多层深度学习超级计算机配置称为 TPU Pod。
我们宣布这些第二代设备将作为云 TPU 在 Google Cloud Platform 上提供。
我们还宣布了 TensorFlow 研究云计划 (TFRC)，该计划旨在为致力于与世界分享其工作成果的顶尖机器学习研究人员提供免费访问云端 TPU 集群的机会。
去年 12 月，我们展示了我们可以在 22 分钟内在 TPU Pod 上训练 ResNet-50 ImageNet 模型，而在典型工作站上则需要几天或更长时间。
准确率应该很高。
我们相信，以这种方式减少研究周转时间将大大提高 Google 机器学习团队和所有在云中使用 TPU 的组织的生产力。