人工智能引领新一轮变革。近年来，人工智能从科技行业起步，迅速渗透到各行各业。我们的生活已经充满了AI的感觉。目前，全行业对人工智能技术的采用普遍以云的形式实现，人工智能云服务AIaaS（AIasaService）成为云服务商新的增长点。人工智能的深度学习算法已经比较成熟，如何提高效率成为关键。作为业内知名的云服务商，CDS首云在软硬件方面的AI云服务技术探索给出了方向。1、AI云化趋势明显，软硬件结合是关键。人工智能正在从技术探索向规模化应用转变，人工智能成为基础设施，这决定了人工智能云化是一个明显的趋势。首先是用户需求。对于企业来说，需要不断提升竞争力，深化数字化转型。人工智能成为必然选择，带来大量需求。随着云的深入使用，企业希望人工智能能够像云一样简单易用，简单易用，按量计费。二是云厂商的增长点。对于云厂商来说，提升人工智能能力，为企业赋能是新的增长点。这就是为什么许多云供应商在他们的名字中添加“智能”的原因。三是人工智能涉及硬件和软件，技术复杂，需要不断优化。只有云厂商才有这方面的资源和技术实力。正如IaaS的底层是虚拟化技术一样，AI云服务依赖于深度神经网络算法和算力结合软硬件。算法的实现依赖于软件。人工智能软件开源是趋势，算力取决于软硬件结合能力。2、开源、软硬件结合是AI技术的发展趋势。OpenVINO?具有人工智能技术的两个方面。一方面，开源是主流，比如大家熟知的TensorFlow、Caffe、MXNet、Kaldi等深度学习框架。另一方面，计算能力非常重要，计算能力决定了人工智能应用的速度。因此，人工智能的效果取决于软硬结合。但由于开源框架众多，对于用户来说，如果使用不同的深度学习框架和不同的硬件，需要一一优化，工作量大。OpenVINO?工具包的出现解决了这个问题。OpenVINO?工具包是开源的，支持主流的深度学习框架，支持Intel架构内的不同硬件，提供统一的接口。它既有开源，又有软硬件结合的趋势。OpenVINO?Toolkit简介OpenVINO?工具包是英特尔基于自身现有硬件平台开发的一款工具包，可以加速高性能计算和深度学习应用的开发。它是用于快速开发应用程序和解决方案以解决各种任务（包括人类视觉模拟、自动语音识别、自然语言处理和推荐系统等）的综合工具套件。该工具套件基于最新一代的人工神经网络，包括卷积神经网络(CNN)、循环网络和基于注意力的网络，可跨英特尔硬件扩展用于计算机视觉和非视觉工作负载，从而最大限度地提高性能。它通过从边缘部署到云端的高性能、AI和深度学习推理来加速应用程序。OpenVINO?工具包优势OpenVINO?工具包具有四大优势：支持基于卷积神经网络的深度学习推理；支持跨英特尔CPU、英特尔显卡、英特尔神经计算棒和英特尔Movidius?视觉处理器运行；易于使用的计算机视觉函数库和预优化内核，可加快上市时间；调用针对计算机视觉标准（包括OpenCV*和OpenCL?）进行了优化。下图显示了典型的OpenVINO?工作流程。OpenVINO?工作流程。英特尔DistributionofOpenVINO?工具包包括以下主要组件：深度学习模型优化器：一种跨平台命令行工具，用于导入模型并针对推理引擎优化它们执行准备模型。模型优化器导入、转换和优化在流行框架（如Caffe、TensorFlow、MXNet、Kaldi和ONNX）中训练的模型；深度学习推理引擎：用于在多种硬件类型推理上实现高性能的统一API；推理引擎示例：一组简单的控制台应用程序，演示如何在您的应用程序中使用推理引擎；附加工具：一组用于模型协作的工具，包括精度检查器实用程序、训练后优化工具指南、模型下载器等。OpenVINO?工具包是开源的，深受人工智能开发人员的喜爱。它目前在Github上有1.9kStars和787Forks。图OpenVINO?Github界面下面我们来看一下知名云服务商CDS首云如何使用OpenVINO?提升AI云服务能力的案例。3、CDS首云案例技术分析作为AI能力输出的关键环节，AI模型的部署和推理效率将直接影响整体性能。CDS首云在其高性能K8S容器平台上引入了OpenVINO，搭配Intel?ModelServer，有利于AI模型的快速部署和推理效率的提升。目前，这一新方案已在CDS首云内部的AI应用场景进行了初步部署和验证。实践结果表明，基于OpenVINO?ModelServer的全新解决方案不仅在用户并发访问能力上远超传统AI模型部署工具，同时在关键性能指标如检测延迟。首云的AI云服务解决方案架构AI云服务不应局限于为AI应用加速提供硬件基础设施，而必须在其上部署一个能够高效分配和调度底层基础设施资源的云平台，并能够运行一个中间件或框架，为人工智能应用程序和模型提供完整的运行环境。云平台与AI运行环境的结合越合理，协同越高效，AI云服务的整体性能就越好。CDS首云在构建AI云服务解决方案的过程中秉承了这一原则，其架构如图所示：图CDS首云AI云服务解决方案架构在基础设施层，由英特尔和网络提供一系列先进的计算和存储产品，输出强大的数据处理、存储和传输能力；K8S虚拟化层负责为底层架构提供节点管理和扩展服务。在充分利用基础设施层能力的同时，也使得解决方案具有良好的可扩展性；该方案提供的AI服务，将通过容器输出面向多样化上层应用场景的AI能力。基于此架构，CDS首云AI云服务能力不仅可以以解决方案的形式为选择云平台或裸机平台的用户提供额外的本地服务能力，还可以以解决方案的形式为用户提供远程AI服务服务API。产能输出。OpenVINO?模型服务器是解决方案的核心。OpenVINO?模型服务器是OpenVINO?工具套件的重要组成部分。基于并利用Intel??架构基础设施提供的算力，帮助CDS首云新方案大大简化了模型部署流程，从而更高效便捷地将AI模型部署到生产环境，有效提升推理性能。图OpenVINO?ModelServer架构如图所示，OpenVINO?ModelServer提供了gRPC和REST两种标准网络API接口，供用户在不同场景下调用，无论用户是在本地还是远程启动AI任务，这些任务将连接到容器中部署的OpenVINO?模型服务器服务。上述架构设计和工作流程使得OpenVINO?ModelServer在AI云服务部署和应用方面具有以下四大优势：针对Intel架构中不同类型硬件基础设施的性能优化。这一优势使得用户可以将模型部署在不同的场景中，实现快速推理，有效降低部署和运维成本；与K8S良好集成，OpenVINO?ModelServer可以通过镜像轻松实现模型的快速部署、维护和扩展，并具有更好的横向扩展性，便于为用户提供密集型计算托管服务；对常见的主流深度学习框架有良好的支持，可以帮助用户在设计和部署AI解决方案时摆脱框架的束缚，根据需求引入最优框架，提升AI服务能力；统一的网络API接入能力，允许终端用户基于CDS首云的云平台或裸机平台部署本地化的AI能力，或通过远程网络调用该能力。对gRPC、REST等不同API接口方式的支持也大大增强了方案的易用性。实战：助力兼顾高性能和低成本的不良内容检测新的AI云服务方案成型后，CDS首云开始有针对性的实战验证工作，优先将内部应用需求更为迫切的不良内容检测场景作为“实验”领域。图CDS首云AI不良内容检测流程之前，CDS首云主要使用TensorFlowServing服务框架等开源工具将深度学习模型部署到生产环境进行推理，但在这个过程中，用户往往面临以下几个方面的挑战：一是，在训练和推理的不同过程中，无论使用什么工具，模型的性能和准确率都可能有所不同。随着场景的变化，用户可能需要选择不同的深度学习框架；更重要的是，AI模型在构建于不同硬件环境的生产环境中的推理性能重复繁琐的硬件环境配置和调试势必耗费大量时间，对工作效率产生负面影响。而这些问题，都在CDS首云打造的全新AI云服务解决方案中得到妥善解决。得益于OpenVINO?ModelServer的部署和应用优势，新方案不仅让用户获得高可用、易维护、一键部署AI应用的能力，还显着提升了推理性能，也帮助用户降低总体拥有成本。图CDS首云针对不良视频内容检测场景的验证测试结果如图所示，使用OpenVINO?ModelServer的方案远超对比组支持的并发用户数，相比使用TensorFlowServing的方案提升2.4倍，并且每个并发客户端的延迟也控制在30毫秒以内，这意味着整个检测过程可以跟上视频播放的速度，达到实时检测的效果。未来，OpenVINO?模型服务器解决方案带来的应用优势也将在CDSFirstCloud全面进军公有云市场时转化为竞争优势。下一步，除了进一步优化新方案在更多应用场景下的性能，CDS首云还计划与英特尔合作，探索基于OpenVINO?模型服务器和边缘计算的AI云服务融合解决方案。此类解决方案可将AI云服务的应用范围进一步拓展至安防、自动检测、门禁系统等应用场景，为用户提供更加多元化、差异化的云服务能力。4.综上所述，OpenVINO?是AI云服务未来的演进方向。作为业内知名的云服务商，中数据首云及时捕捉用户对AI云服务的迫切需求，与英特尔合作，使用OpenVINO?模型服务器，为用户打造更高效的解决方案。、便捷完善的AI云服务能力提升竞争力。人工智能能力是云服务的新领域，OpenVINO?套件是构建人工智能云服务的强大工具。基于OpenVINO?的云服务可以支持Intel架构内的不同硬件，支持K8S，支持主流开源深度学习框架，提供统一的API。相信基于OpenVINO?的AI云服务将是未来的演进方向，用户选择此类AI云服务是投资的良好保障。
