12月9日,AWS全球机器学习副总裁·Swami·西瓦苏布拉马尼安(简称Swami)在亚马逊全球大会上发表机器学习和人工智能演讲:Invent大会主题演讲展示了AWS最新的人工智能和机器学习全景蓝图,并宣布了一系列新服务和功能,使机器学习更容易使用并扩展到更广泛的用户、应用场景和行业。
这是亚马逊 re:Invent 会议上的首次机器学习主题演讲。
Swami在主题演讲中表示,“机器学习是我们这一代将遇到的最具颠覆性的技术之一。
目前,超过10万客户正在使用AWS的机器学习服务,许多客户已经在其核心业务中使用了机器学习。
” AWS大中华区云服务产品管理总经理顾凡介绍表示,“亚马逊使用机器学习技术已有20多年,这是AWS机器学习服务的深层根源。
AWS从2018年开始在云上发力,提供机器学习当年只发布了三个服务,近三年来加速,每年新增1000多个新服务和功能,丰富了全球人工智能急需的工具集。
德勤预计,到今年,全球人工智能市场将突破6万亿美元,面对数字经济的发展机遇,许多国家和地区都将人工智能列为优先国家战略。
2019年11月21日,国家工业信息安全发展研究中心在《人工智能与制造业融合发展白皮书》中指出,当前融合存在诸多困难,其中人才匮乏尤为严重。
据人力资源和社会保障部官网报道,目前我国人工智能人才缺口超过万人,国内供需比为1:10,供需严重失衡。
德勤发布的《全球人工智能发展白皮书》指出,在人工智能的众多分支中,机器学习是人工智能的核心研究领域之一。
其中89%的人工智能专利申请和40%的人工智能范围内的相关专利都在机器学习领域。
AWS 是云计算领域的领导者,也是机器学习领域的领导者。
面对机器学习这样一个前景广阔的职业以及当前人才的严重缺乏,AWS通过多种方式采取了一系列措施,着力通过技术创新拓展机器学习的圈子。
扩大工业领域机器学习解决方案范围的第一步是推出开箱即用的解决方案。
在re:Invent大会上,AWS发布了五款针对工业领域的机器学习服务,分别是Amazon Monitron、Amazon Lookout for Equipment、AWS Panorama All-in-one、AWS Panorama SDK和Amazon Lookout for Vision。
这是AWS首次为工业领域推出开箱即用的机器学习解决方案。
Amazon Monitron 和 Amazon Lookout for Equipment 通过机器学习支持预测性维护。
对于没有建立传感器网络的客户,Amazon Monitron 提供由传感器、网关和机器学习服务组成的端到端机器监控系统,用于检测异常情况并预测工业设备何时需要维护。
Amazon Lookout for Equipment 面向已经拥有传感器但不想自己构建机器学习模型的客户。
AWS将为他们构建模型并返回预测结果以检测异常设备行为。
AWS Panorama 通过计算机视觉改善工业运营和工作场所安全。
AWSPanorama一体机是一种通过连接工业现场网络,能够自动识别摄像头数据流并与工业摄像头进行交互的硬件设备。
AWS Panorama 软件开发套件 (SDK) 允许工业相机制造商在新相机中嵌入计算机视觉功能。
Amazon Lookout for Vision 为工业客户提供高精度、低成本的产品质量异常检测解决方案。
它使用机器学习技术每小时处理数千张图像并发现产品缺陷和异常。
客户可以批量或实时地将摄像头图像发送到 Amazon Lookout for Vision,以识别机器零件裂纹、面板凹痕、不规则形状或产品颜色错误等异常情况。
目前使用 AWS 工业机器学习服务的客户和合作伙伴包括 Axis、ADLINK、BP、Deloitte、Fender、GE Healthcare、Siemens Mobility 等。
打造包罗万象的工具箱,赋能每一位AI工作者拓展圈子的第二招,就是打造全面丰富的工具集。
用顾凡的话说,right tool for the right job(为每项工作提供方便的工具工具)。
AWS提供的机器学习工具集包含三个级别。
该工具集底层针对的是技术能力较强、希望以人工智能和机器学习作为核心竞争力的客户。
AWS为他们提供了强大的计算能力、全面的算力选择、以及丰富的机器学习框架选择。
AWS支持主流机器学习框架,客户也可以通过容器部署自带自己的机器学习框架; AWS可以基于NVIDIA、Intel、AMD、Xilinx等芯片厂商的最新处理器提供强大的算力,同时还通过自主设计的处理器,大幅降低机器学习的算力成本。
中间层工具集针对的是技术能力较强的客户。
他们拥有大量的机器学习模型训练数据,并拥有一定的算法人才。
他们不应该把精力花在管理基础设施上,而应该专注于自己的应用和业务创新。
AWS的Amazon SageMaker为他们提供了第一个完全托管的机器学习集成开发环境,并不断为这个开发环境添加新的功能,从数据准备,到模型训练、参数调优和模型迭代,再到模型部署和模型质量。
全程监控,最大化他们进行机器学习的效率,降低他们进行机器学习的门槛。
顶层工具集针对的是技术能力相对较弱的客户。
他们有一定的数据,但没有算法天赋。
他们希望将人工智能直接引入到业务场景中。
AWS为他们提供开箱即用的人工智能服务,目前涵盖机器视觉、语音转文本、机器对话、文本处理、电子商务、客户服务、企业信息搜索、开发和运维有了如此全面的工具集,AWS可以覆盖并赋能所有AI工作者。
扩大数据库开发人员和数据分析师圈子的第三步是将机器学习扩展到数据开发人员和数据分析师。
数据库开发人员和数据分析师的群体比机器学习开发人员的群体要大得多。
他们不具备机器学习的知识和技能,但不缺乏机器学习的想法。
因此,AWS将机器学习能力嫁接到数据库中,让数据库开发人员和数据分析师可以使用数据库查询将他们的机器学习想法实现到业务应用程序中。
Amazon Aurora是AWS著名的关系数据库服务。
AWS 为 Aurora 推出了一项新功能:Amazon Aurora ML。
当数据库开发人员发起数据库查询(SQL)时,只要选择了机器学习模型,机器学习服务就会被唤醒。
Aurora ML会自动将查询结果交给机器学习模型进行推理并返回结果。
例如,查询客户评价是正面还是负面,数据库开发人员只需进行数据库查询并选择该模型,返回的查询结果就会自动附加正面或负面的判断。
同样,如果海外电商想要将数据库中的商品信息做成多语言,数据库开发者只需查询商品信息并选择多语言翻译,返回的结果就会自动包含商品信息的多语言翻译。
Amazon Athena 是数据分析师经常使用的一项服务。
通过此服务,您可以使用 SQL 语句直接从 Amazon S3 上的对象文件中查询数据(SQL 是一种结构化查询语言,最初用于关系数据查询,而 S3 对象文件不是关系数据)。
AWS还推出了一项新功能Amazon Athena ML,查询返回的结果还可以自动附带机器学习推理结果。
Amazon Redshift 是一个云原生数据仓库。
AWS推出的新功能Amazon Redshift ML甚至省去了选择模型的步骤。
例如,在电子商务领域,我们经常会问哪些客户可能会流失。
此时,您可能没有模型来确定客户的哪些特征可能会丢失。
通过 Redshift ML,数据分析师只需执行 SQL 查询。
Redshift ML可以将数据导入S3,然后将其与SageMaker的Autopilot功能结合起来。
Autopilot是一种自动建模功能。
这样的Redshift ML可以自动执行数据清理、模型训练,并选择最佳模型进行预测。
Amazon Neptune 是 AWS 的图形数据库。
主要应用于知识图谱、身份图谱、欺诈检测、推荐引擎、社交关系、生命科学等场景。
它使用图来表示各种数据实体之间的关系,例如朋友关系图。
。
对于图数据库来说,仅仅展示数据的相关性显然是不够的。
用户更需要的是根据这些相关性进行机器学习推理。
Neptune ML的新功能是连接图数据库和机器学习,通过机器学习模型访问图数据库以做出更准确的预测。
Amazon QuickSight是AWS的商业智能(BI)服务,可以轻松调用各类数据进行分析和呈现。
AWS 在 5 月份推出了新的 QuickSight ML 功能,该功能还与 SageMaker 的 Autopilot 功能集成。
数据分析师可以用它来执行欺诈检测、销售预测等。
在今年的 re:Invent 大会上,AWS 推出了更酷的新机器学习功能 QuickSight Q。
通过它,您可以使用自然语言提出有关数据的问题并获得所需的数据见解。
例如,只需输入“我们的同比增长率是多少?”直接进入查询框将在几秒钟内为您提供高度准确的答案。
如果按照前面的方法,需要在模型中预先定义增长率、更新模型并处理数据,这可能需要几天甚至几周的时间。
AWS还推出了Amazon Lookout For Metrics,它使用机器学习技术通过比较多种类型的企业数据来检测数据异常。
谷帆举了一个例子:某数据源中某产品的售价为20元。
使用 Amazon Lookout For Metrics 查找此类异常数据非常有意义。
如果在线销售中出现此类价格错误,可能会给公司造成巨大损失。
此外,AWS还发布了Amazon DevOps Guru,这是一种利用机器学习的运维服务,可以帮助应用程序开发人员自动检测运维操作的问题,推荐补救措施,提高应用程序可用性。
此前,AWS推出了Amazon CodeGuru,允许开发者利用机器学习自动进行代码审查并提供指导和建议。
Amazon SageMaker新增九项新功能,第四步快速扩展,化繁为简,大力发展机器学习的中算力。
如前所述,Amazon SageMaker 是一个面向机器学习开发人员的集成开发环境,并且是一项完全托管的服务。
它消除了机器学习过程每个阶段的挑战并简化了复杂性,使开发人员和数据科学家从根本上更容易、更快速地构建、训练和部署机器学习模型。
Amazon SageMaker 的功能也在快速迭代,在过去一年中交付了 50 多个新功能。
在今年的re:Invent大会上,AWS再次公布了9项新功能。
(1)Data Wranger,数据特征提取器。
Amazon SageMaker Data Wrangler 简化了机器学习的数据准备。
机器学习训练中有一个重要的任务,称为特征工程,就是??从不同来源、各种格式中提取数据,形成标准化的数据字段(也称为特征),可以作为机器学习模型的输入。
这项工作非常耗时。
借助 Data Wrangler,客户可以一键从各种数据存储导入数据。
Data Wrangler 具有多个内置数据转换器,允许客户规范、转换和组合机器学习中使用的功能,而无需编写任何代码。
客户可以通过在第一个机器学习端到端集成开发环境 SageMaker Studio 中查看这些转换来快速预览并检查这些转换是否按预期工作。
(2)Feature Store,数据特征存储库。
鉴于需要管理大量功能,AWS 为 Amazon SageMaker 推出了一项名为“Feature Store”的新功能。
它是一个用于更新、检索和共享机器学习功能的专用库。
通过Data Wrangler设计特征后,可以将它们保存在特征存储中以供重复使用。
一组功能将用于不同的模型中,并由多个开发人员和数据科学家使用。
这些特征需要有效跟踪和管理,及时更新,并保持一致。
模型训练和使用模型进行推理(即实际使用模型)对于特征的使用场景是不同的。
在训练过程中,模型可以离线、批量访问特征,并且可以长期使用。
对于推理,通常只使用部分特征库,但需要实时访问,并且预测结果在几毫秒内返回。
因此,特征库的管理是一个复杂的事情,Feature Store就是用来解决这些问题的。
(3)流水线、自动化工作流程。
与传统编程一样,编排和自动化可以使机器学习更加高效。
Amazon SageMaker Pipelines 是第一个专门为机器学习构建的易于使用的 CI/CD(持续集成和持续交付)服务。
(4)澄清、模型偏差检测。
借助 Amazon SageMaker Clarify,开发人员可以轻松检测整个机器学习工作流程中的统计偏差,解释机器学习模型所做的预测,识别偏差,清楚描述偏差的可能来源及其严重性,并指导开发人员采取措施减少偏差。
(5) Amazon SageMaker Debugger 的 Deep Profiling,用于分析模型训练。
通过Deep Profiling,可以自动监控GPU、CPU、网络吞吐量、内存I/O等系统资源利用率,并对训练过程中的资源瓶颈进行预警,方便开发者及时调度资源,训练模型快点。
(6-7)Distributed Training,大型复杂深度学习模型的分布式训练。
AWS提供了两种方法。
模型训练被分成数百或数千个 CPU。
一种是数据并行引擎,用于分割数据集。
其中之一是模型并行引擎,可自动分析和识别分割模型的最佳方式,在多个 GPU 上有效分割具有数十亿参数的大型复杂模型。
通过分割训练,Amazon SageMaker 训练大型、复杂的深度学习模型的速度比当前方法快两倍。
(8)Edge Manager,边缘模型质量监控和管理。
Amazon SageMaker Edge Manager 可帮助开发人员优化、保护、监控和维护部署在边缘设备集群上的机器学习模型。
模型部署到边缘设备后,仍然需要对其进行管理和监控,以确保它们继续高精度运行。
当模型的准确性随着时间的推移而下降时,开发人员可以重新训练模型以不断提高模型的质量。
(9)JumpStart,快速启动工具。
通过 Amazon SageMaker JumpStart,客户可以快速找到与自己类似的机器学习场景相关的信息。
新开发人员可以从多个完整的解决方案中进行选择,例如欺诈检测、客户流失预测或时间序列预测,并直接部署到他们的 Amazon SageMaker Studio 环境中。
具有一定经验的用户可以从多种机器学习模型中进行选择,并快速开始模型构建和训练。
越来越多的新功能使 Amazon SageMaker 受到客户的欢迎。
推出短短三年时间,已被数万家客户使用,包括3M、ADP、阿斯利康、安飞士、拜耳、德甲、第一资本、Cerner、Chick-fil-A、Convoy、Domino's Pizza、Fidelity Investing 、GE Healthcare、Georgia-Pacific、Hearst、iFood、iHeartMedia、摩根大通、Intuit、联想、Lyft、国家橄榄球联盟、Nerdwallet、T-Mobile、汤森路透、Vanguard 等等。
AWS一系列扩张举措的背后,是AWS对机器学习的野心。
Swami表示,15年前研究生毕业后,他有幸进入AWS,开始自己的云计算职业生涯。
如今,可以毫不夸张地说,云计算释放出了巨大的力量,帮助各类初创企业和成熟企业取得了巨大成功。
机器学习目前正处于早期阶段。
从Swami的字里行间,我们可以看出机器学习是 AWS 的下一个金矿。