【.com原稿】2018年5月18-19日，由苏宁易购主办的全球软件与运维技术峰会在京召开.峰会围绕人工智能、大数据、物联网、区块链等12个核心热点，汇聚了60位海内外一线专家。错过平台。5月18日上午，在“人工智能技术探索”B论坛上，PP云高级技术架构师高超带来了《AI技术+短视频于苏宁易购电商平台的应用实践》的主题分享。演讲伊始，高超首先介绍了苏宁视频云的基本情况。目前，苏宁视频云主要打通直播、视频点播、短视频网页加速、低延时视频通话五大业务。直播：软件开发包、API、控制台点播：基于PP视频十年媒体技术和服务经验，集上传、存储、转码、加速、管理、监控于一体的产品短视频：全套-集拍摄、剪辑、上传、转码、管理、分发、播放为一体的特色产品。网页加速：自建+集成，支持全局智能调度。低延迟视频通话：基于WebRTC支持多人的视频通话解决方案紧接着视频通话绕开直播，高超分享了苏宁视频云背后的核心技术细节，主要涉及短视频机器审核、短视频加速智能调度，以及AI技术的前景与困惑。一、短视频机器评测1、AI应用的由来2016年以来，PP云进入快速发展周期，出现了大量涉黄、涉版权问题的视频，主要来自企业上传的视频。期间，编辑审稿速度不快，运营投诉，法务部反馈，都逼着技术团队抽时间处理。PPCloud技术人员需要花费额外的时间来手动验证和禁止帐户。经过一段时间的经验积累和对策调整，AI在视频审核中的应用需求已经提上日程。2.机器审计需求的演进以下是PPCloud提出需求后推出机器审计服务的迭代过程。在需求的初始阶段，我们专门针对videomachinereview做了可行性分析，论证了目标的可操作性，最终确定使用人工智能来做这件事，并考察和测试了卷积神经网络在这方面的应用区域。测试中也应用了深度学习框架来验证效果。在业务系统集成阶段，机器审计部署为分布式服务，与人工审计服务并行存在，避免审计错误，纠正后的结果可作为训练数据。评估预测结果是一个迭代和可持续的过程。在实际应用中，不同的业务特征演变为使用不同的模型。3.机审工作流程工作流程分为两层：上层为业务流程，下层为机审服务流程。业务流程的输入项是视频文件，转换成完整的视频图像作为机器审核服务的输入项。机器审核服务对视频全图进行特征处理，如重复检测等，然后输入训练模型给出结果预测。结果预测将输出到业务流程，并通过人工审核进行监督。经过训练的模型会定期进行评估和调整，以适应不断变化的业务需求。4.机评服务实践测试阶段，参与测试的视频总量达千万级，约占存储量3PB。测试视频类别丰富，主要包括电商、体育、文化、企业多元化视频。电商视频包括苏宁易购产品介绍视频、产品评论视频、社区视频等不同场景类型；体育视频包括现场录制视频、赛事解说视频等；文化类视频包括各种娱乐视频和资讯视频、PGC专业内容视频等；企业上传视频是类别最多、场景最丰富的区域。上面的例子是苏宁易购的视频全景图，固定间隔截屏。默认值为6秒间隔。如果是高度敏感的内容，可以调整为1秒间隔；缩略图按10x10排列，共100张全景图，多余部分用新全景图排列。有了可测试的数据源，PPCloud对主流的AI框架进行了研究和测试。选定的测试框架包括Caffe、Keras和TensorFlow。结合实际需求，确定将Caffe作为机器评审的AI基础框架。第一测试阶段的数据集提取了ImageNet的部分分类进行验证，然后就可以使用了。用于进一步精度测试的视频数据。上图是一个常见的神经网络的例子，它有输入层、隐藏层和输出层。在实际应用中，层数和链路数会有所调整。这是一个AlexNet模型，是两个GPU的使用场景。可以清楚的看到输入层是224x224x3的图像输入，分成11x11的小图像，移动步长为4；cuboid是卷积核，比如3x3、5x5、depth；***是三个全连接层，和volumebaselayer中间的pooling层，起到降维的作用，减少参数输入，最终输出100类；实际使用PP云时调整类目数。这是一个VGG16模型。PPCloud的目标检测使用的是FasterRCNN。VGG16一共有16层，包括13个卷积层和3个全链接层。在实际测试中，它比AlexNet更准确，但速度更慢。因此，它将应用于对现有视频或对时效性要求不高的视频的审核。从图中可以明显看出池化层（maxpooling）的参数降维效果，以及激活函数和AlexNet一样，都是使用ReLU，输出层类别也是1000。下图是PP云测试中内容判定的阈值过程数据，可以看到阈值测试范围是0.3到0.7，步长是0.05。经过样品测试，选择0.45作为生产环境常数。下面是视频分类判断阈值测试，使用相同的测试数据按计划进行批量测试，总结结果。以90%的测试结果作为置信区间，通过公式计算，推荐阈值为0.473，推荐范围为[0.31,0.53]。PPCloud会根据不同的业务需求进行细致的调整。目前PP云系统的平均准确率可以达到99.2%以上，准确率是根据整个视频中所有图片聚合计算后得到的最终概率计算得出的。在PP云中使用卷积神经网络的过程中，还需要对结果的准确性进行debug。这时候就需要借助反卷积算法来检查判断错误内容是从哪一层开始的。下图是一个VGG16模型的卷积过程和反卷积过程下图是PP云业务系统集成的一个例子。有两种模式：业务增量视频上传和访问，扫描处理历史数据；业务系统上传视频到存储管理系统，存储管理系统下发审计任务，获取审计结果。机器审计分布式服务订阅任务队列，处理完任务后将结果反馈给存储管理系统。整个过程是高度实时的。以上审核背景用于结果审核。界面操作如下图所示。既是审核又是打标。标记后的数据可以作为训练数据反馈给机器进行审核。下图是一个业务系统应用场景。机器审核和人工审核结果同步，根据业务预定义的判断逻辑做出最终决策。5、其他类型监控除了通过机器审核对视频进行动态监控外，PP云还通过其他运维工具来保证服务接入的稳定性。比如苏宁云集作为自主研发的系统，可以满足故障分析和基础告警的需求；ELK和TICK作为辅助工具，可以自定义更多业务类型的监控告警。2.短视频加速智能调度1.加速智能调度演进随着业务越来越多，资源越来越丰富，PP云需要为不同的业务提供不同层次的保障，因此提出了智能调度的需求。和machinereview类似，也经历了三大流程，使用TensorFlow框架，不同类型的数据类型和输出策略。2.加速智能调度工作流工作流分为两层：上层为业务流程，下层为预报服务流程。PP云的数据输入边界比较明显，预设策略比较灵活。该模型使用历史数据和当前数据进行调度预测，业务手动选择建议并应用。3.智能调度实践智能调度的目标定位分为整体服务稳定和故障自动恢复。通过调度预测实现局部稳定性推荐，提升系统整体稳定性指标；并且可以在出现故障时尝试根据推荐列表自动恢复。PP云作为预测数据的来源，分为全网监测数据、主干网数据、业务预置策略三种。全网监控数据来源于自建CDN节点的详细数据记录。商业综合CDN可以使用节点日志数据，主旨网络数据可以更详细。基于LastMile可以获取nslookup结果、ping结果、traceroute结果、终端下载时间、下载速度、视频缓冲区等，配合业务预设的边界策略，可以推荐业务使用的调度策略。三、AI技术的前景与困境1.AI未来应用场景用户购买预测等电商应用数字导购等新零售应用视频智能分类：苏宁集团内部系统视频分类标注内容智能感知：体育直播目标clipsandHighlightreplaypredictioninterception2.AI技术存在的问题。前期分类数据量较小，如手术现场训练视频，容易导致模型预测不准确。需要针对此类数据不断优化模型；在这个持续优化的过程中，常用分类视频的回报周期效果明显，但新兴行业或冷门行业的数据需要不断调优产生回报收益【作者简介】高超，PP云高级技术架构师，7年业务研发及架构经验，目前负责PP云视频服务研发及架构工作。以上内容是记者根据高超在WOT2018全球软件与运维技术峰会上的演讲整理而成。更多WOT内容请关注51cto.com，更多PP视频云内容请关注PP云视频公众号。【原创稿件，合作网站转载请注明原作者和出处为.com】
