文章|石狮海中天智喜东知编译整理：关于苹果在人工智能和机器学习方面的布局，美国媒体Backchannel进行了深度采访。
显然，这也是苹果自己敞开大门欢迎媒体参观，并安排了几位VP级别的高管进行解读。
由此我们也可以看出，苹果以Siri为代表应用的人工智能布局已经影响深远。
从乔布斯亲自游说收购Siri前身所属公司，到近期每年收购20到30个小团队，可以看出，海外科技巨头中，苹果已经开始将人工智能作为其中之一。
提升产品体验的主要驱动力。
本文将解析这个“Apple iBrain”的逻辑。
以下为全文： 2019年7月30日，Siri开始进行“大脑移植”。
三年前，苹果率先将智能助手Siri集成到操作系统中。
2009年，苹果收购了独立APP，开发团队也加入了苹果。
后来这个APP就变成了Siri。
它一开始获得了好评，但在接下来的几个月和几年里，用户对 Siri 的缺陷失去了耐心。
很多时候 Siri 执行命令的方式不正确，微小的调整根本无法解决问题。
随后，苹果将 Siri 语音识别系统移植到了基于神经网络的系统，并于 2016 年 7 月底向美国用户开放，并于 2015 年 8 月 15 日向全球用户开放。
一些早期的技术仍然有用，比如隐马尔可夫模型，但现在系统使用机器学习技术，包括深度神经网络（DNN）、卷积神经网络、长短记忆单元以及门控循环单元。
循环单元）和 n 元语法。
用户升级后，Siri 看起来没啥变化，但机器学习让它变得更强大。
如果公司改进了底层技术，他们一般不会透露自己的想法，以免被竞争对手知道。
正因为如此，苹果还没有公布Siri的进展。
如果我们询问用户他们注意到了什么，他们会发现错误更少。
事实上，苹果声称准确性的提高是相当惊人的。
苹果公司互联网软件和服务高级副总裁埃迪·库伊(Eddy Cue)表示：“这次的改进非常明显，你必须重新计算以确保小数点没有放错位置。
”苹果Siri转型的低调故事首次被披露，可能会让人工智能领域的专家皱眉，不是因为系统神经网络性能的提升，而是因为苹果对于它正在做的事情如此低调。
直到最近，苹果才开始在人工智能领域大量招聘员工，并进行一些高调的收购，但观察人士仍然认为它在人工智能竞赛中落后了。
公司正在相互竞争，试图释放人工智能工具的最大潜力。
苹果喜欢对其计划保持沉默，就连人工智能专家也不知道苹果在机器学习领域正在做什么。
杰里·卡普兰在斯坦福大学教授人工智能历史课。
他认为：“苹果不是AI社区的一部分，它相当于AI行业的NSA（国家安全局）。
”大多数人认为，如果苹果在AI上投入全部精力，像谷歌和Facebook一样多，那么它的举动应该被外界知道。
艾伦人工智能研究所的 Oren Etzioni 表示：“在谷歌、Facebook 和微软，我们可以看到机器学习方面的顶尖人才。
是的，苹果雇佣了一些人，但是这 5 位大领导者中谁为苹果工作？苹果确实有语音识别技术，但我们不知道它是否使用了机器学习技术，请告诉我你们的产品中哪些地方使用了机器学习。
”本月早些时候，苹果确实向我展示了机器学习可以用来做什么。
那天，我在苹果的库比蒂诺太空飞船总部大楼里度过了大半天，在苹果高层的陪伴下，我了解到了苹果 AI 的核心秘密。
陪同我的有艾迪·库 (Eddie Ku)、副总裁兼营销主管菲尔·席勒 (Phil Schiller)、软件主管兼高级副总裁克雷格·费德里吉 (Craig Federighi)，以及两位关键的 Siri 科学家。
当我们坐下时，他们向我展示了两张论文。
充满了使用机器学习的Apple产品和服务，有些已经发布，有些即将发布。
如果你是iPhone用户，你已经在使用Apple AI了，当我们问Siri问题时，它会变得越来越敏捷。
只是一方面，人工智能还用在其他方面，比如当手机接到电话时，来电者的身份不会出现在个人联系人列表中（但这个人最近确实给你发了一封电子邮件）；例如，您收到约会提醒通知，但该约会并未放入日历中；当我们打开地图时，没有输入信息，地图程序就会弹出酒店预订的位置，这一切都会使用AI。
当苹果使用机器学习和神经网络技术时，这些功能将成为可能，甚至更加强大。
Apple Brain 是的，这就是所谓的“Apple Brain”，它已经内置于 iPhone 中。
一位知情人士表示：“机器学习现在广泛应用于苹果的产品和服务中。
”在苹果应用商店中，它使用机器学习来识别欺骗行为，苹果在测试软件时也使用机器学习技术来筛选反馈。
，找到最有价值的内容。
在Apple News应用程序中，机器学习技术用于选择新闻。
机器学习可以确定 Apple Watch 用户是在锻炼还是在闲逛，还可以识别照片中的面孔和位置。
如果Wi-Fi信号较弱，机器学习技术会建议用户使用蜂窝网络，因为它更省电。
机器学习可以识别用户拍摄的视频中的良好链接，我们可以通过单击按钮将相关视频分组在一起。
竞争对手也表现得很好。
苹果高管声称，他们是唯一一家在隐私和用户体验之间取得良好平衡的公司。
事实上，机器学习对于苹果来说并不新鲜。
20世纪90年代，苹果推出牛顿平板电脑时，当时的手写笔采用了AI，可以识别用户输入的字符。
直到今天，这个系统仍在使用。
它就是Apple Watch的汉字识别系统，即使用户输入的字符很潦草，它也能识别。
“过去五年来，AI越来越多地应用于苹果的应用领域。
” Phil Schiller 表示：“我们的产品正在以更快的速度走向智能化，这一点尤其难能可贵。
我们设计的 A 系列芯片越来越智能、越来越快，我们所做的一切终于可以互联了。
这样，应用机器学习技术将变得越来越广泛，因为有很多东西我们需要学习，而且我们可以做到。
” “拥抱”机器学习持谨慎态度 尽管苹果在孜孜不倦地追求机器学习，但高管们对于“拥抱”机器学习持谨慎态度，从某种意义上说，苹果希望业务能够一如既往。
是的，这是一项变革性技术，但它并不比其他技术进步更强大，例如触摸屏、平板电脑和面向对象编程。
从苹果的角度来看，机器学习并不是最终的前沿，但其他公司却这么做了：“之前已经有一些技术改变了人们与设备的交互方式，而机器学习与这些技术并没有本质上的不同。
”而苹果也无意参与这场讨论，苹果并没有确认是否正在开发汽车，也没有告诉大家是否正在开发类似Netflix的服务。
然而，苹果已经确认的一件事是，它并没有开发任何类似于天网的东西。
“我们需要利用这些技术来做我们一直想做的事情，并且把事情做得更好，”席勒说。
“我们还需要利用技术来做以前做不到的事情。
最终，这项技术将是苹果独有的。
以苹果方式应用于产品的“苹果大脑”有多大？ iPhone 动态缓存中有多少可用于机器学习？当我询问苹果公司时，他们提供的信息令人惊讶：平均为 Mb，具体取决于存储的个人数据量。
Apple iPhone 不断删除旧数据。
这些信息包括APP使用情况、与其他人的交互数据、神经网络处理和自然语言事件模型。
神经网络还可以利用一些数据来识别目标、识别人脸、对场景进行分类。
苹果解释说，个人参数、个人爱好、旅行信息等都是私人的，苹果会对私人信息保密。
Eddy Cue 在AI方面，苹果没有详细解释其努力，但我还是弄清楚了苹果内部机器学习技术的分布。
在 Apple 内部，机器学习人才是共享的，产品团队可以借用机器学习人才来解决问题或为单个产品开发功能。
Craig Federighi 表示：“苹果内部没有一个核心的机器学习组织，有一些团队需要利用机器学习技术来提供更好的用户体验，我们努力确保机器学习人才与这些团队紧密相连。
一起。
” Apple 有多少人从事机器学习工作？ “很多，”费德里吉说。
有趣的是，苹果机器学习团队的员工在加入苹果之前没有接受过专门的培训。
Federighi 表示：“我们招募的员工在基础领域都非常优秀，比如数学、统计学、编程语言、密码学等。
事实证明，这些人才完全可以转变为机器学习专家。
今天，虽然我们也会招募机器学习人才很多，但也在寻找具有核心资质和才能的人。
”尽管费德里吉没有明说，但苹果对保密的偏好似乎不可避免地使苹果在与鼓励计算机科学家分享研究成果的公司竞争时处于劣势：“我们的做法有利于人与人之间的‘自然选择’。
那些喜欢参与团队并共同开发好的产品的人，以及主要动机是发表研究成果的人。
”如果科学家能够既改进苹果产品并在某些领域取得突破，那就太好了，但 Cu 说：“我们是对最终结果充满期待，这种期待驱使我们前进。
”在机器学习方面的人才获取方面，苹果公司也收购了一些人才。
Eddy Cue表示：“一年之内我们收购了20-30家公司。
他们规模相对较小，收购的真正目的是为了人才。
”Federighi 表示：“当苹果收购一家 AI 公司时，肯定会有很多机器学习研究人员，而我们不仅仅是想扩大数量。
我们真正需要的是专注于提供卓越体验的人才。
”最近，苹果斥资2亿收购了总部位于西雅图的Turi公司。
美元买了它。
Turi 开发了一套机器学习工具，人们将其与 Google 的 TensorFlow 进行比较。
有人猜测，苹果的目的可能与谷歌相同。
它将在企业内部和开发人员中使用这些工具。
苹果高管既没有证实也没有否认。
Eddy Cue刚刚表示：“可以肯定的是，从技术角度和个人角度来看，Turi 与苹果非常匹配。
”再过一两年，我们或许就能看到结果。
无论人才来自哪里，苹果的人工智能技术都可以帮助公司开发出以前无法开发的产品和功能。
人工智能还改变了公司的产品路线图。
席勒说：“今天苹果公司提出了无数很酷的想法。
其中一些想法几年前我们只能拒绝，但现在有了机器学习，我们可以通过它们。
当我们决定下一步应该制造什么产品时，机器学习将成为决策的依据。
”与 iPad Pro 一起销售的 Apple Pencil 就是一个很好的例子。
苹果希望打造一款高科技手写笔，但要实现其目标就必须解决一个问题：用户在设备上书写时，手掌底部不可避免地会碰到屏幕，导致部分数字功能出现故障。
苹果开发了一种“防手掌误触”机器学习模型，可以自动识别滑动、触摸和手写笔输入的差异，以提高准确性。
Federighi 表示：“如果手写笔不完美，我们就无法将 iPad 用作光滑的书写纸，Pencil 也不会是一个好的产品。
”如果你喜欢铅笔，你应该感谢机器学习。
一开始，Siri只是DARPA的一个智能助理项目，后来成为一家独立的小公司，使用同样的技术开发应用程序。
2009年，乔布斯亲自出手说服公司创始人将自己卖给苹果，随后将Siri与操作系统集成。
2018年10月，苹果发布了iPhone 4S，Siri成为旗舰技术。
一开始，用户可以长按Home键唤醒Siri，也可以对手机说“Hey Siri”来激活该功能。
现在 Siri 已经进化，它已集成到 Apple Brain 中，即使您不说话也能收集信息。
作为一款核心产品，Eddie Ku认为Siri有四大组成部分：语音识别，理解用户与产品对话的情况；理解自然语言，捕捉言语的含义；执行，满足一系列查询；回复，使用语音回复。
Eddie Ku表示：“机器学习在四大方面产生了重要影响。
” Siri 进化成了一个神经网络。
苹果收购 Siri 后，Tom Gruber 也随原公司加入苹果。
他现在担任 Siri 高级研发部门负责人。
Gruber 认为，在苹果将神经网络应用到 Siri 之前，大量用户已经产生了大量数据，这对于后来训练神经网络起到了重要作用。
格鲁伯说：“乔布斯相信，无需测试，一夜之间，一个应用程序可以从一个试点项目变成拥有数百万用户的服务。
突然之间就会有如此多的用户，而这些人会告诉你，人们是如何交互的这是第一轮的变化，然后是神经网络的转变。
“Siri 向前发展，使用神经网络来处理语音识别，并且一些新的人工智能专家参与了演变，其中包括语音小组负责人 Alex Acero。
在 20 世纪 90 年代初，Acero Acero 在苹果公司开发了语音识别技术，后来在微软研究院工作多年的他说：“我喜欢这项工作，发表了很多论文。
当我看到 Siri 时，我意识到它可以使深度学习成为现实，并且可以被数百万人而不是数百万人使用。
换句话说，阿塞罗正是苹果正在寻找的科学家：他认为产品比发表论文更重要。
Arcero 三年前加入苹果。
当时，Siri 使用的语音技术基本来自第三方授权，苹果希望 Federighi 认识到苹果正在重复一个模式：“随着时间的推移，我们发现某项技术对于用户来说越来越重要。
”为了打造出色的产品，我们要在内部进行创新，语音识别就是一个很好的例子。
”技术。
“我们有巨大的 GPU 集群，一直在运行，”Acero 说。
我们输入大量数据。
苹果于 2011 年发布了该产品，其努力得到了回报。
“在所有语言类别中，错误率增加了一倍或三倍，在许多情况下更高，”阿塞罗说。
所有这些进步的原因主要归功于深度学习和我们优化技术的方式，不仅仅是算法，而是开发产品的整个过程。
“在语音识别应用中，苹果并不是第一家使用深度神经网络技术的公司，但苹果告诉我们，控制整个传输系统可以提供优势。
Acero 表示，由于该芯片是苹果自己设计的，因此他可以与芯片设计团队与（为设备）编写固件的工程师携手合作，最大限度地提高神经网络的性能。
Siri 团队的需求甚至影响了 iPhone 的设计，Federighi 说：“这不仅仅是问题。
芯片。
，还与设备中安装的麦克风数量有关，并且与安装位置有关。
调整硬件、处理音频的软件堆栈，就是这样。
有些公司已经开发了软件，但无法控制接下来会发生什么。
我们的模型比他们有巨大的优势。
这还有另一个优点：当苹果的神经网络可以在一款产品上运行时，它就可以成为服务于另一个目的的核心技术。
例如，帮助Siri提高理解力的机器学习算法可以成为“引擎”。
，用于处理语音信息并避免手写输入。
Eddie Ku还表示，Siri的第二个重要部分是“理解自然语言”。
今年11月，Siri开始利用机器学习来理解用户意图。
在苹果看来，如果没有同样支持语音控制??的 Siri 技术，新版本的 Apple TV 就不会被开发出来。
早期的 Siri 要求用户在说话时清晰地表达自己的意思。
后来推出的Siri增强版更加智能。
当 iOS 10 今年秋季发布时，Siri 的语音成为第四个需要机器学习改造的组件。
这一次，深度神经网络取代了原来的授权技术。
Siri的声音来自语音中心收集的数据库，每个句子都被拼接成语音片段。
机器学习技术使语音流畅流畅，使聆听效果更接近真人。
这只是一个小细节，但更真实的声音可以给 Siri 带来很大的改变。
Gruber 认为：“音质提高了，用户会更加信任 Siri。
更好的声音更有吸引力，用户会更频繁地使用它们。
”有人评价，苹果的 Siri 合作伙伴只有两位数，外部开发者帮助亚马逊 Alexa 开发了多项技术。
苹果认为将两者进行比较是没有意义的。
亚马逊用户需要使用特定的指令来获得各种功能，而苹果的Siri与服务结合起来更加自然。
保护用户隐私 事实上，苹果采用机器学习的最大障碍是如何成功坚持保护用户隐私的原则。
任何人，无论是苹果员工还是苹果律师，都无法获取用户的私人信息，即使是持有搜查令的联邦调查局也无法获得。
这可以说是苹果的一大卖点。
他们收集并出售用户的私人信息，以讨好广告公司。
虽然尊重隐私的原则非常令人钦佩，但由于在这个问题上的严格性，苹果似乎很难吸引 AI 人才来帮助公司发展。
一位前苹果员工表示：“机器学习专家需要数据，但由于苹果尊重隐私的立场，苹果正在反绑一只手进行战斗。
你可能会认为这很不合理，但这也为苹果赢得了来自死神的赞誉——铁杆粉丝。
”而这位可能喜欢看功夫电影的前苹果员工现在在一家专门研究人工智能的公司工作，事实上，这种观点受到了苹果高管的强烈质疑，他们认为无需使用就能获得足够的数据来实现可靠的机器学习。
存储在用户云端的内容或实时监控用户信息 Federighi 表示：“这是错误的，不应该做出这种权衡。
我们尊重用户隐私，这种行为很好。
另外，为了让我们的用户无处不在，我们愿意为行业竞争对手展示一条清晰的机器学习新路线。
“机器学习涉及到两个非常重要的事情：第一，是基于机器学习的系统中个人信息的问题。
神经网络在学习到用户的行为后，会自发决定如何处理这些信息；第二， ，这也与收集相关信息来训练神经网络识别行为有关。
现在的问题是，在不收集用户个人信息的情况下，如何完成这两件事呢？苹果表示已经有了答案。
Eddy Ku表示：“很多人坚信，没有数据我们就无法做AI，但我们找到了一种维护隐私保护原则并获取数据的方法，这是底线。
”关于第一个问题，也是神经网络识别保护个人喜好和信息。
苹果采用的是软件和硬件独立控制的方式。
简单来说，几乎所有个人信息都会存储在私人配备的 Apple Brain 中。
Federighi 表示：“对于最敏感的内容，我们会将这部分涉及的机器学习算法嵌入到本地设备中。
” Federighi 举了一个例子，对应用程序的建议：当你向右滑动状态栏时，会出现图标。
理想情况下，他们希望你打开你想打开的应用程序，但这需要基于一系列因素，涉及大量的用户行为，与他人无关，而且非常个性化。
Federighi表示，90%的时候系统可以推荐人们想要的应用程序，而这一切都是在个人的手机上完成的。
Apple 存储在其设备上的其他信息包括 Apple 认为可能是其最私人的数据：使用标准 iPhone QuickType 键盘输入的文本。
神经网络训练系统会在您输入时检测相关事件和项目，例如航班信息、联系人、约会等，但这些内容只会保留在您的手机上。
即使是保存在苹果云端的备份文件也不会显示详细内容。
。
费德里吉说：“我们不希望苹果服务器存储这些信息。
这只是一家公司，不需要知道你的习惯是什么或你要去哪里。
”此外，苹果还打算最大限度地减少存储的信息量。
Federighi提到了一个例子，当你在聊天，或者进行潜在的关键词搜索时，其他公司可能需要所有相关的内容和物品来识别，但苹果只需要检测个人设备上的数据。
（这仅依赖于那兆字节的“大脑”）。
Federighi 说：“这是一个紧凑但全面的存储库，其中包括数以万计的位置和内容。
我们对其进行本地化是因为我们知道您在哪里。
该存储库将用于所有 Apple 应用程序，包括 Spotlight 搜索、地图、Safari、等等。
它帮助我们自我纠正并继续在后台运行。
“Craig Federighi 和 Alex Acero 使用在线信息来训练神经网络。
现在我们来谈谈第二个问题。
苹果想要进入机器学习圈还面临着另一个障碍：由于隐私保护原则，它无法获得足够大的数据库来进行训练并提高机器学习算法的准确性。
如果苹果不提取所有用户基础信息，它该如何建立一个庞大的数据库呢？方法和其他公司一样：利用互联网上的公开信息，比如利用公开照片进行图像识别训练。
真正的问题在于，当苹果需要更有针对性的算法训练时，它需要访问更新、更具体的用户信息，而这些信息只能来自其用户群。
苹果目前的做法是匿名获取信息并随机校准数字ID。
从iOS 10开始，苹果还将采用一种比较新的技术——差分隐私，在用户信息来源不明的情况下，进行流行语更新、相关答案检索、推荐热门表情符号等。
Federighi 说：“现在业界常见的做法是，当你输入字符时，数据被发送到服务器，然后通过网络检索相关或有趣的内容，然后发送回个人设备；我们的意图是“这是为了让这个功能成为一个大规模的应用程序，并将其扩展到 10 亿的用户群。
”Federighi 说：“我们几年前就开始了这项工作，也就是说，它很疯狂，而且仍然如此。
”这是非常个人化的。
苹果做了重要的工作，对全世界都很有价值。
它正在使科学家的论文成为现实。
”费德里吉还描述了一个涉及虚拟硬币翻转和加密协议的系统。
基本上，它向一些数据添加了数学噪声，以便苹果可以在不识别个人用户的情况下检测使用模式。
显然，机器学习正在改变苹果的产品，虽然我们还不知道它是否会改变苹果的“初心”，从某种意义上来说，机器学习似乎和苹果一样，一直都非常注重用户体验，并且擅长各种。
传感器，预先设计，并精确编码。
工程师在设计机器学习时，想做的就是让它自己进行修正并找到解决方案，从这一点来看，不断吸收反馈并做出产品调整的苹果。
，似乎是一个机器学习系统，费德里吉说：“这也涉及到一个重大的内部争议。
我们习惯了想太多、考虑周到的体验，我们控制了系统和用户之间的沟通维度。
然而，当你训练一个面向人类行为、基于大型数据库系统的系统时，你不知道它最终会走向何方。
我们无法控制结果，一切都来自数据。
”汤姆·格鲁伯（Tom Gruber）和亚历克斯·阿塞罗·席勒（Alex Acero Schiller）表示，苹果不会回头。
“虽然这些技术会影响你的设计过程，但有一天，我们都会使用它们，因为它们可以提供高质量的产品。
”至关重要的是，苹果可能不会声明它将所有财富都押在了机器上。
学习，但公司会尽可能地利用它来改进产品。
手机内部的“大脑”就是最好的证明。
席勒还表示：“典型的客户在日常生活中体验深度学习，这表达了他们对苹果产品的喜爱。
令人兴奋的是，一开始你没有任何感觉，但当你第三次看到它运行时，你会对它的完成方式感到惊讶。