亚恩乐存与卷积神经网络说完了Hinton教授，我们再来说说深度学习领域的另一位名人。LeCun，曾跟随Hinton教授做博士后研究。LeCun1960年出生于法国巴黎附近，父亲是一名航空工程师。从1988年开始，LeCun在著名的贝尔实验室工作了20年。LeCun目前是纽约大学终身教授，也是Facebook人工智能实验室的负责人。LeCun教授在人工智能领域的核心贡献是卷积神经网络（CNN）的发展和推广，卷积神经网络是深度学习中图像识别和语言识别的关键技术。与Hinton教授一样，LeCun教授也是在人工智能和神经网络的低潮期长期坚持科学研究并最终取得成功的典范。正如欣顿教授所说：“是乐存高举火炬，冲过最黑暗的时代。”卷积神经网络的灵感来自于生物自然视觉认知机制。1960年代初，DavidHughDavidHunterHubel和TorstenNilsWiesel通过对猫视觉皮层细胞的研究提出感受野的概念。受此启发，1980年，福岛邦彦提出了卷积神经网络的前身Neocognitron。20世纪80年代，Lecun发展并完善了卷积神经网络的理论。1989年，LeCun发表了著名论文《反向传播算法用于手写邮政编码的识别》（BackpropagationAppliedtoHandwrittenZipCodeRecognition）。1998年，他设计了一个名为LeNet-5的系统，这是一个7层神经网络，是第一个成功应用于数字识别问题的卷积神经网络。在国际MNIST手写数字识别数据集上，LeNet-5可以达到接近99.2%的正确率。该系统后来被美国的银行广泛用于识别支票上的号码。LeCun是一位硕果累累的计算机科学大师，但我最佩服的是他的业余爱好是造飞机！在一次IEEE组织的深度对话中，他与C++之父BjarneStroustrup进行了一次有趣的对话。“你做了一些非常酷的东西，其中大部分都可以飞，”Strongstrup问道。“你还有时间陪他们玩吗，还是工作的乐趣被榨干了？”乐存回答说：“工作中也有很多乐趣，但有时我需要自己创造一些东西。这个习惯是从我父亲那里遗传来的，他是一名航天工程师。我的父亲和兄弟也热衷于飞机制造。”因此，当我去法国度假时，我们将沉浸在制造飞机中长达三个星期。”卷积神经网络通过共享局部感受野和权重，大大减少了神经网络需要训练的参数数量。号，因此非常适合构建可扩展的深度网络，用于图像、语音和视频等复杂信号的模式识别。为了给大家一个规模的概念，目前用于图像识别的典型卷积神经网络深度可达30层，具有2400万个节点、1.4亿个参数和150亿个连接。连接数远大于参数数的原因是权重共享，即很多连接使用相同的参数。训练如此巨大的模型必须依赖大量最先进的CPU和GPU，并提供海量的训练数据。GPU和海量训练数据说到GPU和海量训练数据，就可以说说我们中国人的贡献了。目前，大多数深度学习系统都使用NVIDIA的GPU通过大规模并行计算来加速训练，而NVIDIA的联合创始人兼CEO（首席执行官、CEO）是来自中国台湾的黄仁勋（Jen-HsunHuang）。-HsunHuang，见图3.4）。据黄仁勋介绍，2011年，人工智能领域的研究人员发现了英伟达GPU强大的并行计算能力。当时，谷歌大脑（GoogleBrain）项目刚刚取得惊人的成果。GoogleBrain的深度神经网络系统通过观看一周的YouTube视频学会了识别哪些视频是关于猫的。但它需要在谷歌的一个庞大数据中心使用16,000个服务器CPU。这些CPU的运行和冷却消耗了大量的能量，很少有人拥有这种规模的计算资源。NVIDIA及其GPU即将面世。NVIDIAResearch的BryanCatanzaro与斯坦福大学AndrewNg教授的团队合作，将GPU应用于该项目的深度学习。事实证明，12个NVIDIAGPU可以提供相当于2000个CPU的深度学习性能。从那时起，纽约大学、多伦多大学和瑞士人工智能实验室的研究人员在GPU上加速了他们的深度神经网络。接下来，全世界的人工智能研究人员开始使用GPU，NVIDIA开始了又一轮的高速增长。图3.4黄仁勋（左）和ElonMusk（右）在海量训练数据方面，1976年出生于北京的李飞飞教授（见图3.5）功不可没。李飞飞16岁随父母移民美国。他现在是斯坦福大学终身教授，人工智能实验室和视觉实验室主任。2007年，李飞飞与普林斯顿大学李凯教授合作发起ImageNet项目。ImageNet项目使用互联网下载了近十亿张图片，并使用AmazonMechanicalTurk等众包平台对其进行了标记。在鼎盛时期，ImageNet项目团队是AmazonRobotTurk平台上最大的雇主之一。来自全球167个国家的近5万名工作人员通力合作，帮助项目组对近101亿张候选照片进行过滤、整理和标注。2009年，ImageNet项目诞生了——一个包含22000个物体的1500万张照片的数据库。这些项目是根据日常英语单词进行分类和组织的，对应于大型英语知识库WordNet的22,000个同义词集。ImageNet是一个无论是在质量上还是在数量上都规模空前的数据库，同时它作为免费资源发布在互联网上，全世界的研究人员都可以免费使用。ImageNet项目充分体现了人类通过互联网实现全球合作的巨大力量。图3.5李飞飞随着机器学习算法的不断优化，以及GPU并行计算能力和海量训练数据的支持，原本深度神经网络训练的难点逐渐得到解决，“深度学习”的发展迎来了新的发展阶段新的高潮。在2012年ImageNetChallenge的图像分类比赛中，Hinton教授的学生AlexKryszewski教授实现的深度学习系统AlexNet获得了冠军。总量的26%大幅下降至16%。此后，深度学习在性能上超越了机器学习领域的众多其他算法，应用领域也从最初的图像识别扩展到机器学习的各个领域，掀起了人工智能的新浪潮。深度学习的应用接下来我们举几个例子来看看深度学习在各个领域的应用。首先，让我们看看计算机视觉领域。光学字符识别（OCR）首先应用于该领域。所谓光学字符识别，就是将图片文件中计算机无法识别的字符，如数字、字母、汉字等，转换成计算机可以识别的文本格式。2004年，Google启动了GoogleBooks项目(http://books.google.com)。通过与哈佛大学、牛津大学、斯坦福大学等高校图书馆的合作，已对数千万册图书进行扫描鉴定。并且可以实现全文检索，对于没有版权问题的图书，还提供PDF格式的文件下载。当作者打开Goog??leBooks，哈佛大学图书馆里的王阳明《传习录》和惠能的《六祖坛经》的线装古籍，真的很感动。谷歌相当于把世界上所有的图书馆都搬过来了。每个人的电脑上，真是功德无边。计算机视觉的另外两个流行应用领域是自动驾驶汽车和人脸识别。2010年，谷歌的七辆自动驾驶车队开始在加州道路上进行测试。这些车辆使用摄像头、雷达传感器和激光测距仪来“查看”交通情况，并使用详细地图绘制前方道路。对于导航来说，真正控制车辆的是基于深度学习的人工智能驾驶系统。2012年5月8日，内华达州允许无人驾驶汽车上路3个月。经过数十万公里的测试，机动车管理局为谷歌无人驾驶汽车颁发了合法车牌。图3.6是谷歌自动驾驶汽车的设计原型。2014年，Facebook开发了DeepFace，这是一种深度学习系统，可以识别或验证照片中的人物。在全球权威人脸识别测评数据集LFW中，人脸识别准确率达到97.25%。图3.6谷歌自动驾驶汽车设计原型在不久的将来，十年之内，路上肯定会有很多无人驾驶汽车。届时，除了路上那些固定的摄像头，无人车上还会有数以千计的移动摄像头，结合基于深度学习的人脸识别技术和高速通信网络，保护社会治安，抓捕犯罪分子的工作可能会得到很多便利，同时，大家的隐私也受到了极大的威胁。只能祈祷人工智能的强大力量能够得到很好的发挥。近年来，随着深度学习的快速发展，人工智能科学家在语音识别、自然语言处理、机器翻译、语音合成等与人类语言交流相关的领域取得了巨大的技术突破。2012年，在微软亚洲研究院21世纪计算大会上，微软高级副总裁RichardRashid展示了微软研发的英译汉同声传译系统。它引起了世界各地的广泛关注，在YouTube上的观看次数超过100万次。同声传译系统结合了语音识别、机器翻译和语音合成的最新技术，要求在短时间内高效完成。微软的同声传译系统已应用于Skype网络通话，支持全球不同语言的人们改善沟通。苹果的Siri、谷歌的GoogleNow等智能手机上的语音助手已经走进了很多人的日常生活，而亚马逊基于Alexa语音交互系统的Echo智能音箱（见图3.7）功能更强大，可以直接实现语音购物和语音通话。付款，并可以回答你的包裹已经送到哪里，还可以播放你喜欢的音乐，设置闹钟，叫外卖，叫优步出租车，连接智能开关和智能灯后，你可以把你的整个家变成一个完整的家。声控智能家居环境。图3.7亚马逊的Echo智能音箱给天才少年的忠告当然，这些人工智能系统还处于比较早期的阶段，有时Siri或Echo的回答会让你发笑，我也经常听到朋友调侃这些语音助手的故事。期待未来有更多优秀的人投身于这一领域，做出更智能、更人性化的系统。如果你家里有天才少年，作者特别推荐一本深度学习的经典书籍，由三位大师所著，IanGoodfellow、Bengio、AaronCourville共同推出的深度学习(《深度学习》)，本书的作者非常无私，把本书内容和相关资料放到网上，供大家免费学习。该网站是http://www.deeplearningbook.org。在本章的最后，如果你想给你的天才少年一些建议，请允许作者引用深度学习领域的大师Bengio（见图3.8）和他的学生之间的一段对话。2014年，Bengio教授参加了著名网络社区Reddit机器学习版块的“AskMeAnything”活动，解答了机器学习爱好者的诸多疑问。图3.8Bengio教授的一个学生问：“我正在写一篇关于科学和逻辑的哲学方面的本科论文，将来我想转计算机系读硕士，然后再攻读机器学习博士.除了死记硬背数学和编程，你认为像我这样的人还需要做什么才能引起教授的注意？”本吉奥教授回答如下：“1。阅读深度学习论文和教程，从介绍性文字开始，逐渐增加难度。记录自己的阅读心得，定期总结所学内容。2.自己实现学过的算法，从头开始，保证自己理解数学。不要只是复制你在论文中看到的伪代码并实现一些变体。3.要在真实数据上测试这些算法，可以参加Kaggle比赛。通过接触数据，您可以学到很多东西。4.将整个过程中的想法和结果写成博客，与该领域的专家联系，询问他们是否愿意接受你在他们的项目上远程工作，或者寻找实习机会。5.找到一个深度学习实验室并申请。这是我建议的路线图，不确定是否足够清晰？“献上作者的祝福，期待在未来的某一天，遇见你的天才少年或者他/她研发的超级智能机器人，也许是在这蓝色星球上某处美丽的山河，也许是在飞翔的宇宙飞船里在浩瀚的宇宙中……
