7月27日,英特尔在北京召开主题为“智能端到端,英特尔变革物联网”的视觉解决方案及战略发布会。
在本次大会上,英特尔针对中国市场推出了OpenVINO工具套件,该套件基于英特尔硬件平台,专注于加速深度学习,可以帮助企业快速实现高性能计算机视觉和边缘深度学习的开发。
物联网加速人工智能在边缘计算的应用。
此前,人工智能的很多计算和处理都发生在服务器、数据中心等云端,因为只有这样的环境才能提供强大的计算能力和便捷的支持。
然而,随着物联网时代的到来,越来越多的设备和传感器将连接到网络,情况正在发生变化。
据IDC预测,到2020年,全球将有超过1亿台智能设备和超过1亿个传感器。
这也意味着每天都会产生海量的数据。
据研究机构预测,随着物联网的快速发展,到2020年,每个互联网用户每天将产生约1.5GB的数据,智慧医院每天将产生超过GB的数据;每辆自动驾驶汽车每天都会产生超过 GB 的数据。
数据;联网飞机每天将产生超过0GB的数据;如果一个智能工厂连接到互联网,如果有一千多个设备,每个设备都有很多传感器,并且一直在产生数据,那么整个智能工厂每天产生的数据量将会是1PB 。
到今年,全球每天产生的数据总量将达到44ZB。
(注:1ZB为EB,1EB为PB,1PB为TB,1TB为GB。
)面对如此海量的数据,如果我们仍然只依赖云端进行数据处理,这会影响计算能力和网络云的。
带宽带来了巨大的挑战。
尽管计算能力和通信技术也在不断发展,但这个速度仍然很难跟上数据增长的速度。
因此,边缘计算,即在终端侧对数据进行人工智能分析处理,早已是大势所趋。
IDC预测,到2020年,45%的物联网数据需要在边缘存储、处理和分析(这表明物联网终端侧人工智能部署的需求快速增长),50%的物联网数据需要在边缘存储、处理和分析。
网络将面临带宽限制。
问题。
正是因为物联网带来的海量数据的增长以及对带宽的巨大挑战,使得在终端侧部署人工智能变得非常有必要。
而且,在终端侧部署人工智能还具有数据处理实时性更高、时延低、带宽要求更低的优势。
比如自动驾驶领域,这方面的要求就非常高。
此外,在终端侧部署人工智能也有利于数据隐私的保护。
因为很多用户不想将数据上传到云端,他们希望数据在本地进行处理。
本地处理完成后,一些特殊数据会在处理后上传。
在隐私保护要求比较高的场景下,也适用于隐私保护要求比较高的场景。
有些数据需要放在边缘进行处理。
可以说,随着物联网的发展,人工智能在边缘计算的应用正在加速,但这并不意味着云端人工智能不再需要、将会消亡。
云人工智能可以聚合数据源,做出一些更综合的应用。
如果想要为用户提供完整的人工智能服务和解决方案,必须是边缘与云端协同的端到端人工智能解决方案。
目前,包括Intel在内的一些厂商已经能够提供端到端的架构,因此“分布式计算”的概念现在已经是一个比较成熟的概念。
换句话说,开发云解决方案的人需要将其架构切入边缘以帮助解决边缘问题。
在英特尔看来,“视频(摄像头)是物联网的终极传感器”。
确实,在边缘侧,视频带来的信息流是最大的。
值得注意的是,网络视频监控流量同比增长%。
也就是说,物联网时代,视频将是人工智能应用爆发的关键点。
因此,视频监控领域也成为英特尔端到端人工智能解决方案的重点。
英特尔全栈AI硬件解决方案 对于英特尔来说,英特尔在云服务器和数据中心市场是绝对的领导者,市场份额超过90%。
针对这个市场,英特尔拥有至强处理器和至强 Phi 处理器,以及多种可针对特定运行工作负载进行优化的加速器,包括现场可编程门阵列 (FPGA) 和 Nervana。
相对而言,CPU并不适合人工智能计算,但英特尔仍然可以通过集成GPU和FPGA来实现云端人工智能计算加速。
更重要的是,英特尔今年还以 4 亿美元高价收购了机器学习初创公司 Nervana,并将推出专为深度学习打造的神经网络处理器。
终端侧,除了将现有的CPU、集成显卡、FPGA产品用于终端之外,英特尔于2019年9月收购了计算机视觉芯片公司Movidius,开始加大在终端侧的人工智能布局。
Movidius的Myriad系列VPU目前应用于DJI Spark无人机、Google Clips相机等知名厂商的产品中。
去年,英特尔还推出了Movidius神经计算棒,用于终端设备的人工智能加速。
▲博士英特尔副总裁、中国区物联网事业部总经理陈伟表示:“我们英特尔有自己的CPU、自己的集成显卡GPU,加上我们的Movidius、Nervana等加速技术,还有FPGA,至少从硬件的角度来看,我们可以勾勒出一个基于应用优化功耗和成本的端到端全栈解决方案。
这是我们的出发点。
”英特尔副总裁兼中国物联网事业部总经理陈伟博士表示:“要获得良好的人工智能体验,需要多样化、高品质的硬件平台。
然而,将这些硬件直接应用到人工智能应用中仍然存在许多障碍。
主要障碍是什么?深挖、充分利用硬件的能力。
“我们都知道,同样的人工智能算法,应用到不同的硬件平台上,会产生截然不同的效果。
因为算法是基于一定的硬件平台进行优化的。
由于不同的网元可以提供不同的计算量,支持不同的操作系统,不同的芯片往往有不同的开发方式,这给开发者带来了一定的麻烦,也就是说,如果我们改变某个芯片开发的软件的架构,就可能不适用了。
那么终端厂商如何能够轻松采用同一套AI算法,轻松实现从云端到终端侧的跨平台部署,并发挥各硬件平台的能力呢?之后,英特尔推出了全新的视觉推理和神经网络优化工具套件OpenVINO。
强大的OpenVINO工具套件 OpenVINO是Intel基于其现有硬件平台开发的工具套件,可以加速高性能计算机视觉和深度学习视觉应用的开发。
它支持各种Intel平台的硬件加速器上的深度学习,并允许直接异构执行。
具体来说,OpenVINO 包括带有模型优化器和推理引擎的英特尔深度学习部署工具包,以及针对 OpenCV 和 OpenVx 优化的传统计算机视觉库。
OpenVINO工具套件可以通过基于Intel架构处理器(CPU)和核心显卡(集成GPU)的深度学习加速芯片以及深度学习加速器(FPGA、Movidius VPU)来增强视觉系统的功能和性能。
▲博士英特尔中国物联网事业部首席技术官兼首席工程师 张宇 “在计算机视觉领域,业界广泛使用的方法有两类。
一是深度学习方法(主要用于物体检测)另一类是传统的计算机视觉方法(例如光流计算或图像增强)。
在OpenVINO中,我们对这两种方式都有很好的支持(对于后者,Intel在OpenVINO中集成了媒体软件开发套件Media SDK,可以帮助开发者调用Intel CPU中集成的GPU资源来实现视频处理、编码、解码和转码操作)。
OpenVINO 包含深度学习部署工具套件。
该工具套件可以帮助开发人员将经过训练的网络模型部署到目标平台上进行推理操作。
因此,OpenVINO帮助大家做推理,而不是训练。
的。
我们帮助大家更好、更快地将这些训练结果部署到英特尔的目标平台上进行推理操作。
”英特尔中国区物联网事业部首席技术官兼总工程师张宇博士解释道。
目前比较流行的深度学习框架有Caffe、Tensor Flow、MxNet等。
英特尔在设计时考虑到了开发者目前的习惯。
设计OpenVINO,因此在配置之后,模型优化器可以将在这三个主要开发框架上开发的网络导入到Intel的平台中,并且在导入过程中,Intel会根据目标平台的特点进行一定的优化,并将这些进行转换。
优化结果被转换为中间表示文件——IR文件,该文件将包含优化后的网络拓扑,以及优化后的模型参数和模型变量,该IR文件稍后将由推理引擎读取。
开发者选择的平台,选择相应的硬件插件,目前OpenVINO可以支持Intel CPU插件、GPU插件、Myriad VPU插件。
如果您在数据中心,每个人都应该知道这一点。
如果在通用处理器上训练产生的训练模型部署在前端的嵌入式推理平台上,可能会不起作用或者效果会大打折扣,因为不同推理平台的数据准确率不同支持的操作系统不同,所能提供的内存容量和计算性能也不同。
因此,之前的模型在应用到前端之前需要进行优化。
据报道,例如,Dropout层被自动消除(主要是)。
对于训练),一些激活函数的优化可以使用OpenVINO的模型优化器来实现。
目前,英特尔已经验证了10多个在Caffe、MxNet和Tensor Flow上设计的模型。
在推理引擎方面,OpenVINO的推理引擎实际上是一组C++函数库和C++类。
这样的推理引擎处理输入数据并获得最终结果。
推理机简单、统一。
API接口支持所有Intel架构,实现深度学习推理所需的操作。
这些操作包括读取数据、定义输入输出数据格式以及调用相应的硬件插件。
将这些中间数据文件下载到最终的执行平台是推理引擎的工作。
此外,对OpenVINO工具套件的访问实际上是分层的。
不同的开发者可以根据自己的需求和开发能力选择不同的API接口来调用OpenVINO。
例如,如果新手有一个好的想法但没有相应的算法或者不了解深度学习是如何在硬件上实现的,他也可以通过OpenVINO中包含的许多应用示例来学习和实现。
如果开发者是能力很强的“超级用户”,OpenVINO还可以提供直接调用底层硬件接口的能力,实现对硬件的直接访问。
总结一下Intel的OpenVINO工具套件能够带来的一些优势:首先是性能的提升,因为通过OpenVINO,你可以轻松使用Intel的各种硬件加速资源,包括CPU、GPU、VPU、FPGA等资源可以帮助你在进行推理时提高了深度学习算法的性能,并且这些执行流程支持异构处理和异步执行,可以减少等待系统资源所占用的时间。
此外,OpenVINO使用优化的OpenCV和OpenVX,并提供许多应用示例,可??以缩短开发时间。
这些库都支持异构执行,所以如果你编程,你可以编写一次,然后可以通过异构接口支持在其他硬件平台上运行它。
此外,在深度学习方面,OpenVINO配备了模型优化器、推理引擎和20多个预训练模型。
您可以使用提供给您的这些工具来快速实现您自己的基于深度学习的应用程序,而OpenVINO使用的是OpenCV。
,OpenenVX的基础库。
您可以利用这些基础库来开发自己的特定算法,实现自己的定制和创新。
根据Intel公布的数据,通过OpenVINO的改进,如果在Intel的Core i0X处理器平台上运行Google Nex等一些开放网络,其对应的性价比是目前市面上解决方案(NVIDIA Tesla P4)的两倍。
不止次数。
如果选择Intel的FPGA产品Altera 10 KLE PCIe卡,其推理性能/功耗/成本比大约可以比NVIDIA Tesla P4高出1.4倍。
如果是基于Movidius平台的Myriad 2 VPU,其优化后的性能/功耗/成本比相比NVIDIA Tegra TX2 Jetson模块将提升5倍以上,所以我们可以看到在Intel硬件上使用OpenVINO平台带来的提升还是非常明显的。
顾客怎么看?如今,图像处理算法其实非常多样化。
图像处理除了人脸识别之外,还包括车辆分析、结构分析、行为分析等,比如智能安防领域基本上很难有场景。
说是只需要一种算法,但大多数都需要多种算法的融合。
因此,异构计算应该是一个趋势。
作为英特尔合作伙伴代表,宇视研发副总裁、AI产品线总监唐立波表示:“OpenVINO有几个非常重要的价值,第一个就是通过一次培训就能满足不同的硬件平台。
在我们行业,不同地点、不同场景的所有产品对芯片的要求是不同的,比如它们的功耗承受能力是不同的,它们的性能要求也是不同的,所以我们需要针对不同的产品使用不同的芯片。
当不同的硬件平台实现在芯片上时,研究人员和开发人员必须进行多次开发,这导致了人力的大量浪费。
而且大家都知道,现在人工智能如此流行,人力成本是非常巨大的。
通过OpenVINO,我们可以节省很多成本,这也是一个好处。
”在本次大会上,国内知名人工智能厂商云从科技也率先发布了国内首款基于OpenVINO的工具包开发的产品,“2017年我们开始量产。
准备推出我们自己的基于Intel平台的产品,然后我们就做出了一个产品。
它看起来很普通,但是产品非常好,因为它有Intel X86中的并行计算模块,更重要的是,OpenVINO核心模块在里面。
基于此,我们在人工智能方面得到了很好的发展,并在各个行业得到了广泛的应用。
目前,我们已在数十家行业客户、上百家行业网点推广该产品。
,它还依赖于英特尔成熟的生态系统。
当一个产品同时支持几十个不同客户的需求时,它就可以在算法和应用方面处理不同的需求。
当然,还有很多Intel同事的支持,因为我们选择了合适的平台。
”云从科技项目总监李军总结道。