【.com原创稿件】随着互联网+的深入发展，线下零售行业正迎来颠覆发展和洗牌的转折点。作为业内践行线上线下融合的企业，苏宁已经掌握了智慧零售的先发优势，迎来了全面爆发的时刻。2018年，苏宁更是提出了“创造极致”的发展方向，旨在以极客精神，极速打造智慧零售的极致。“北斗”系统作为大数据与人工智能融合的智慧零售产品，将为苏宁的线下发展提供强大的技术支撑。建立“北斗”系统的初衷对于线下门店而言，门店运营的关键因素有哪些？总的来说就是门前客流、进店客流、成交笔数、销售额、客单价等指标。其中，最重要的是客流，客流是实现销售和经营目标的前提。客流不仅影响门店经营策略，更成为投资决策、发展前景和经营效果评价的重要依据。通过对客流数据的分析，不仅可以了解场馆的实时客流状况，预测未来客流的发展，还可以更好的制定有针对性的营销策略，调整产品，展示广告展位，设计客户移动线路等。基于这一实际需求，苏宁“北斗”系统就是为门店服务开发的数据产品。基于离线监控视频数据资源，利用视频图像识别技术，集视频处理、图像处理、模式识别和人工智能于一体。该领域的技术彻底颠覆了一直依赖人工统计或传统方法的数据统计方法。还提供了一套更准确、更详尽的门店客流分析数据，为门店智能化运营提供了一套技术解决方案。“北斗”系统平台架构的演进和客流统计一直是门店业务需求的痛点。作为业务经理，首先也是最关心的是每小时、每天、每周有多少顾客来，有多少顾客出去，有多少顾客在店里。顾客等等。为了获取这个数据，苏宁针对这个需求大致经历了以下三个阶段：在人力盘点初期，为了获取每个门店的客流数据，每个门店都会安排一个人在门口进行人工统计，然后通过后台系统进行维护，让总经理、店长等管理人员可以粗略的获取进店人数的数据。但弊端很快暴露出来：统计人员很难长时间保持高度专注，从而导致遗漏。从成本上来说，一家店多则几十门，少则4-5门。人力工资成本远高于客流设备投资。这样做不仅耗费人力，工作量大，而且不能形成一个完整体系的数据积累和参考依据。所以，这个方案在执行的过程中，逐渐被大家抛弃了。WiFi计数随着互联网的发展，WiFi技术遍地开花后，各家门店开始安装免费WiFi，让顾客通过连接WiFi来统计来店的顾客。从技术上讲，手机的MAC地址是用来统计人数的，手机的IP也可以用来追踪店内顾客的轨迹，判断新老顾客。但缺点是：WiFi客流统计需要保证监控范围内能覆盖WiFi信号，而且信号要稳定。客户的手机必须连接到WiFi信号才能用作统计数据来源。WiFi信号偏移比较大，偏移6-10米，会造成数据失真。这三点严重影响了数据的准确性，无法保证数据的参考价值和分析意义，因此不具备数据的指导意义。视频统计随着人工智能技术的发展和成熟，图像识别技术正逐步走向商业化应用。基于门店现有的监控数据，利用视频识别技术，可以提取、识别、跟踪视频画面中的移动物体，从而离线获取完整的顾客行为数据。数据不仅全面完整，而且覆盖了全场景的数据，有效支撑了数字化运营管理，为门店的运营提供了强有力的数据支撑。视频统计的关键主要有以下三个环节：人脸检测以店内部署的高清摄像头采集的视频流作为输入，可以实时检测跟踪画面中的20张目标人脸。同时，由于深度学习算法的应用，可以轻松检测和跟踪人脸的各种角度、姿势甚至局部遮挡。***人脸采集也是一个容易被忽略的环节。商店摄像头采集的视频流实际上每秒生成30帧。当有人经过时，实际上会收集到大量的人脸抓拍数据。我们通过跟踪算法跟踪每个人的运动轨迹，收集一组视频帧的截图，然后通过人脸方向分析、图像模糊检测分析、人脸质量评分模型，选择一张质量最高的人脸照片，然后去到下一个链接。在人脸识别对比阶段，人脸识别技术相对成熟。随着深度学习技术在人脸识别应用中的不断成熟，各种人脸识别算法的准确率差异仅体现在小数点后几位。LFW（LabeledFaceinWild）是人脸识别研究领域最重要的人脸图像评价集合之一。它包括5749个人的人脸数据，全部来自真实场景，包括自然光照、表情、姿势、遮挡等干扰因素，甚至包括年龄变化、妆容等复杂的干扰因素。目前，苏宁大数据中心的算法团队在该数据集上取得了99.70%的准确率，非常接近目前该数据集上的最佳指标99.83%，达到了行业最高水平。要达到这样的精度，有三个决定性的要素：算法模型、训练数据和计算能力。对于线下门店等大规模人脸识别应用，算法模型面临的最大挑战是大规模一对多人脸识别的准确性。为了解决这个问题，首先，我们从标准SoftmaxWithLoss中的内积中去除偏置项，同时对权重w和神经元x应用L2范数，将问题转化为角度约束问题。其次，我们改进了损失函数，增加了anglemargin，以增加同一id的类内相似度，降低不同id之间的类间相似度。通过这个anglemargin的改进，我们可以压缩大部分ids特征子空间的人脸。***，我们认为人脸识别的难点，比如非常相似的人脸识别问题甚至孪生人脸识别问题，都不能满足具有***全局约束的anglemargin分类条件，这就是为什么angle-softmax的原因训练时损失会很大。针对angle-softmax训练时loss会非常大的问题，我们加入了metriclearning进行fine-tuning，对hardexample进一步加入了localconstraints。具体方法是使用tripletloss函数tripletloss，使用三个图像集：固定anchorA、正例图像P、负例图像N进行训练，目的是让A和P的距离小于A和P的距离和N.通过以上步骤，构建基于深度残差卷积神经网络和相似id差异正则化优化的训练网络模型，结合我们算法自动预标记的人脸样本和少量人工标定构建最佳训练数据集，我们将人脸识别准确率提高了大约7个百分点。除了模型的改进，我们还有一个6个高性能GPU服务器集群，可以快速验证迭代算法，让我们算法模型的更新速度从几周更新一次到一周一次十多个小时，让不同的算法综合，适配不同的场景，让算法更加精准。苏宁现有18万员工，数千家门店，2018年计划新增5000家门店。通过人脸识别技术在苏宁和线上线下的应用，我们的人脸识别算法能力将进一步迭代提升。“北斗”系统建设重点苏宁“北斗”系统采用了背景模型+人脸识别+3D深度信息+多目标跟踪+深度学习网络的一整套算法解决方案。在目标跟踪算法方面，我们对目前流行的算法进行了详细的研究。KCF是最近流行的目标跟踪算法。该算法是在跟踪过程中训练一个目标分类器，用目标分类器检测下一帧的预测位置是否为目标，然后用新的检测结果重新训练得到一个新的目标分类器。卡尔曼滤波是一种经典的滤波方法。它是一种利用线性系统状态方程，通过系统的输入输出观测数据来准确估计系统状态的算法。我们将用于单目标跟踪的KCF算法扩展到多目标跟踪。在客流统计系统中，在不改变其他框架的基础上，采用了原有的前景建模和匈牙利匹配。前几帧检测到的目标为跟踪目标，将多目标KCF跟踪算法融入其中，实现对多个目标的同时跟踪。经过详细对比发现，KCF算法在速度上存在缺陷，多目标跟踪时耗时较长，难以满足我们的实时性要求。因此，我们最终选择卡尔曼滤波作为我们的基本跟踪算法。在识别算法方面，我们在基于深度学习的SSD学习网络的基础上，根据实际情况进一步优化改进，融入到我们整个北斗系统中。基于苏宁强大的大数据计算能力和人脸识别技术，通过分析店外和店内的用户属性和行为信息，不仅可以为门店提供智能推荐、营销、服务，还可以对门店的购物流向进行分析，商品和货架陈列，提高更好的导购服务。它还可以促进线下门店的数字化、智能化，改变门店的经营方式，让门店拥有思考的能力，拥有智能的“大脑”。店外顾客关注“进店率”是影响店铺吸引力的重要指标。如何有效分析“路人甲”是一个什么样的群体，对于目前的线下场景来说，仍然是一个“黑匣子”。如何了解路过消费者的数量及其特征画像是当前门店管理者的迫切需求。苏宁大数据团队利用识别技术，结合人脸识别、人体轮廓追踪、人脸特征点等算法技术，有效分析路过人数、人群规模、男女分类、性别等，进入商店的人的特征。等数据，为门店经营者制定个性化营销策略提供数据支持和保障。店内顾客关注对于进店顾客，顾客的动机、行为轨迹、关注热点、购买意向是店长的另一大痛点需求。如何实现对这块数据的采集、分析和应用，也是北斗系统的一大特色。在算法层面，为了达到最佳效果，需要配合特定摄像头的安装，实现对摄像头安装高度和角度的精确控制。为了节省成本，我们使用了店内原有的监控摄像头，没有改变任何原有的安装高度和角度。在算法方面，我们首先研究了基于多通道特征的ACF算法，并在工程中实现了该算法，并对算法的准确率和速度进行了实测。但是发现当算法应用于我们的场景时，准确率并不理想。为了达到更高的精度和性能要求，我们在深度学习中使用小型网络系统，并在检测算法中将其与深度学习SSD模型相结合。通过视频采集、视频中目标具体标注、算法微调、自身模型训练等步骤，实现了热图中的相关功能。计算精度和计算速度都达到了原来的要求。“北斗”系统的智能服务“北斗”系统下一步将部署智能服务，包括：智能导购：识别老顾客，提取顾客每次来店的特征点，前期数据为其提供精准服务；新客引导根据客户到店时关注的信息和出行速度，进一步预测客户需要什么，并为他们做出精准推荐。智能支付：当客户选择自己喜欢的商品时，实现只刷脸自动支付，提高服务速度和质量。智能预测：根据每日、每周、每月客户对产品的关注度，合理调整产品抽样和库存分配，为用户提供更优选的产品和更短的提货服务。智能防控：重点人群监控、踏板监控、夜灯开关监控、火灾监控等，保障顾客人身安全和门店财产安全。通过“北斗”系统，基于苏宁大数据技术和视觉算法，将为智慧零售注入智慧“大脑”。卓越体验，创造卓越服务。曹林龙，苏宁易购大数据技术专家，目前主要负责计算机视觉识别与分析在苏宁的应用。在大数据平台工具和图像识别应用方面有多年的实践经验。负责建立苏宁统一数据报表平台和大数据平台，主导视频分析、产品识别等技术的应用。具有丰富的数据营销经验，喜欢钻研、研究和实践行业前沿的数据处理和技术，展示数据所蕴含的价值。【原创稿件，合作网站转载请注明原作者和出处为.com】
