全场景AI推理引擎MindSporeLite助力HMSCore视频剪辑服务打造更智能的剪辑体验。以中国人为代表的新兴文化国家正在受到越来越多的人的青睐。同时，随着AI智能、美化等功能在图片、视频剪辑APP中的应用，视频剪辑效率和视频效果得到大幅提升，视频应用场景也得到了丰富。目前的编辑产品功能多样，素材丰富，但开发周期长，门槛高。为了让剪辑软件更加智能、易用，提高开发者效率，HMSCore6为开发者提供视频剪辑服务（VideoEditorKit），提供一站式视频导入、剪辑、渲染、导出、媒体资产管理、等视频处理能力。视频剪辑服务除了支持完整的传统视频剪辑功能外，还提供专属滤镜、人物追踪、一键染发等丰富的AI处理能力，助力视频创作，为用户带来更畅快的创作灵感，打造更智能的视频。剪辑体验。图1.基于AI功能、角色跟踪和一键式染发效果显示的独家滤镜。通过个性化的神经网络模型实现多样化的智能视频处理能力。由于训练好的模型文件体积较大（单个模型的大小一般在十几甚至几十兆字节），而手机等设备的ROM和RAM空间有限。如何以更少的终端设备空间占用为开发者提供更丰富的智能视频处理能力，成为移动应用视频剪辑的一大挑战。挑战。为解决上述挑战，HMSCore视频剪辑服务选择使用华为自研AI框架MindSporeLite进行神经网络模型推理。MindSporeLite是一款全场景AI推理引擎，通过统一的API接口支持端、边、云不同环境快速部署，支持HarmonyOS、Android、iOS、Windows等多种操作系统，支持Ascend、GPU,和CPU(x86,arm...)和其他硬件执行。MindSporeLite除了支持MindSpore训练的模型格式外，还支持TensorFlow、TensorFlowLite、Caffe、ONNX等第三方模型格式的转换和推理。图2.MindSporeLite架构图MindSporeLite为AI模型推理提供高性能超轻量级解决方案：通过高效的内核算法和汇编级优化，以及CPU、GPU、NPU的异构调度，硬件计算可以充分利用，最大限度地减少推理延迟和功耗；提供模型量化压缩技术，采用训练后量化（Post-TrainingQuantization，PTQ），无需数据集数据直接将权重数据从浮点数映射到低位定点数，有效降低模型体积，以及促进人工智能模型在资源受限环境中的部署和执行。图3量化技术原理介绍权重数据的量化支持固定比特量化和混合比特量化两种形式。固定比特量化采用Bit-Packing方式，支持1~16任意比特的权重量化，满足用户不同压缩场景的需求。同时根据模型量化后的数据分布，自动选择合适的编码策略进行压缩编码。从而达到最好的压缩效果。图4.固定位量化和压缩混合位量化。根据神经网络不同层对量化损失的不同敏感度，以均方误差为优化目标，自动搜索最适合当前层的比特，同时保证精度。更大的压缩比。同时，对于量化后的模型，利用有限状态熵（FiniteStateEntropy，FSE）对量化后的权重数据进行熵编码进一步压缩，从而实现模型的高效压缩，提高模型传输速率和减少模型存储空间。图5.混合比特量化和压缩此外，在量化中将使用偏差校正方法以最小化其量化误差。BiasCorrection会在反量化时根据权重数据固有的统计特性对其进行校准，使权重值在量化前后具有相同的期望和方差，可以大大提高模型精度。视频剪辑服务中的AI模型采用了MindSporeLite提供的混合比特量化方式，最终在保证精度的情况下实现了平均5x+的模型压缩效果。解决模型过多、文件过大导致的部署困难。图6.视频编辑模型的量化效果（来源于MindSporeLite实测数据）。通过对AI模型进行量化压缩，在保持ROM空间占用的前提下，保证剪辑产品中可以部署更多的AI模型，充分发挥AI的能力，提供更多的特效应用场景，让编辑功能更强大、更智能。华为官方剪辑软件PetalEditing接入视频剪辑服务能力后，用户可使用专属滤镜、人物追踪等AI视频剪辑功能（部分功能将随着PetalEditingApp的升级上线），让视频剪辑更加精彩方便和丰富。有趣的。MindSporeLite致力于打造高性能、超轻量级的全场景AI引擎。除了高性能内核算法、硬件异构调度、量化压缩，还提供端云协同一站式训练推理能力。HMSCore视频剪辑服务基于MindSporeLite，帮助开发者打造更易用、更智能的剪辑工具。更多信息请访问华为开发者联盟官网HMSCore官网MindSpore官网MindSpore开源社区
