Labs介绍目前，在公共和个人应用场景中，安装的监控摄像头总数已超过1.75亿个，但其中大部分为普通摄像头。采用事件发生后实时视频存储和检索的方法。他们缺乏自主认知和决策的“大脑”，无法避免危险事件的恶化。在此背景下，具有智能视频行为分析功能的跨境追踪系统显得尤为重要。本文将从跨镜追踪系统内部实现的角度进行探讨，介绍跨镜追踪系统的核心功能和应用场景。1.交叉镜跟踪技术背景交叉镜跟踪系统主要采用行人再识别技术，根据人的衣着、体态、发型等信息，判断图像或视频序列中是否存在特定行人。可以结合人脸识别技术来解决问题。人脸被遮挡且距离过远的跨摄像头场景下的身份识别。交叉镜跟踪示意图二、交叉镜跟踪的研究意义交叉镜跟踪系统可以通过对特定人员身份信息的实时自动分析，实现跨时空对特定人员的跟踪和实时定位。视频流中的人，并可以在公安监控中发现和跟踪嫌疑人。通过排查人员和财产可疑人员，有利于提高工作效率，减少因时间成本造成的事态恶化，很大程度上避免因人员倦怠、下班等因素造成的虚报或漏报。职员。切实提高监控区域的安全防范能力。由于监控系统场景中的人脸在大多数情况下是不清晰的，因此业界普遍采用行人再识别（ReID）算法实现跨镜追踪，对人脸的清晰度、人脸的角度等敏感,和相机的位置。对准确性等方面的要求低于人脸识别。今年新冠肺炎疫情爆发期间，基于ReID技术的跨镜追踪系统为疫情防控做出了贡献，因此ReID算法也备受关注。3.跨镜跟踪研究难点协作场景下的人脸识别近年来逐渐商业化，但在视频监控场景下，人脸质量往往不高或存在看不见人脸的现象，因此人脸识别在大多数情况下无法发挥作用，而且ReID算法在实际场景中的准确率也较低，还有很多研究难点。总结如下：1.行人数据严重缺失与隐私相关，采集行人数据时，需要采集同一个人在不同镜头下出现在同一时间段的图片，导致数据受限布景搭建，数据缺乏是跨镜跟踪技术无法快速突破的首要难点。2、实际应用场景复杂。与人脸相比，人体有多个肢体关节点。在实际监控场景中，人物会以各种姿态、角度出现在摄像头中，增加了人体检测和识别的难度。此外，不同时间段的光线差异、建筑物的遮挡等，都对准确识别人的身份提出了挑战。3、在变装场景失败的行人重识别技术，主要是通过提取人的服饰外貌特征来实现人体识别。不能直接用于变装场景（如换季）。搜索。4.跨镜跟踪系统配置为了克服ReID算法本身的局限性，充分发挥其优势，实现对视频画面中人和物的实时定位，我们采用的思路结合面部和人体技术。通过融合人脸和人体技术，结合动作识别，系统可通过摄像头实时自动识别人员，发现“警情”并主动“分析”，发现任何安全威胁，及时报告保安。已经发生或将要发生。保卫人员发出警报，有效提升了监控区的安全防范能力。系统主要涉及以下技术点：人脸识别、行人再识别、动作识别、人体数据库动态更新、人脸属性与人体属性识别、多路并发异步处理、陌生人数据库动态更新5、交叉-镜像跟踪系统搭建，越界跟踪系统通过接入标准化的RTMP视频流，利用跳帧处理机制，对上述各算法功能模块进行多线程异步调用，同时，通过共享内存记录当前实时图像帧，实现对视频图像的实时分析处理，系统业务流程图如下：交叉镜跟踪系统业务流程图下面对几个核心模块进行详细的技术介绍。6、动态人脸识别模块人脸识别处理流程图如下：人脸识别处理流程图不同于闸机、门禁等静态人脸扫描场景，视频监控属于动态人脸识别应用场景。人脸遮挡的情况经常出现，人脸的角度多在俯视的情况下，光照比较复杂。目前，在动态监控场景下，业界人脸识别算法在1/10,000误识别率下的准确率仅在90%左右，与静态场景下的99.9%相去甚远。但由于视频监控领域不涉及支付交互和鉴权交互，业务场景本身对人脸识别精度的容忍度比较大。针对动态场景下人脸识别精度低的问题，我们主要从人脸检测和低质量人脸识别两个维度进行改进。1.增强型人脸检测率数据准备：为了提高动态场景下的人脸检测率，模拟动态人脸识别场景数据，将各种旋转角度因子生成的图片加入到训练数据中，包括侧面，正面，旋转人脸，分别加入暗光、强光、模糊、遮挡等影响因素。网络模型：网络设计采用基于SSD的多尺度特征融合方法解决跨尺度和小人脸检测问题，并结合Inception和RFBs的思想加入多种类型的卷积核来丰富特征提取信息，适应光线、遮挡和模糊的能力得到提升。2.低质量人脸识别率提升数据准备：人脸识别算法在很大程度上受限于数据量。我们使用添加旋转、平移、遮挡、光照和模糊因子等方法生成自制的人脸数据进行训练。获得更高性能的模型。每个字符id的数据宽度可以通过自制数据来丰富。另外，为了有效提高同时戴口罩的人脸识别效果，基于人脸关键点算法拟合了一张戴口罩的人的图片，如下图：自动展开数据网络模型戴口罩：在网络模型结构设计方面，基于arcloss进行人脸特征提取训练。为了进一步提高戴口罩人脸的识别性能，在人脸识别训练时增加了人脸遮挡判断项。当人脸被遮挡时，特征可以被提取，注意力集中在未被遮挡的部分。同时，在业务层面建立辅助措施作为替代，采用双底数据库策略和多模型策略，对佩戴口罩的情况分别进行识别和处理。戴口罩情况下的人脸识别算法优化策略7.行人重识别模块行人重识别算法原理与人脸识别类似。它通常使用表示学习或度量学习来获得特征提取模型。1最高记录在98%左右，行业平均水平达到92%左右。但在实验环境中存在一定程度的过拟合，在实际场景中效果仍然不理想。1、结合人脸识别算法，拓展使用场景为了达到更好的行人再识别效果，我们结合人脸识别，实现行人数据库的实时动态创建，满足目标的360度跟踪人们。在穿衣场景中发挥作用：在穿衣场景中，建立基于人脸识别的人体图像库，当检测到同一人穿着不同时，及时更新行人库；在隐形的情况下，基于人体重量识别进行人员跟踪定位，满足复杂场景下人员的实时跟踪。人脸与人体结合识别算法的处理流程图，加入人脸属性和人体属性，得到一些辅助标签，缩小搜索范围，使得ReID在人脸不完全可见的情况下仍然可以有效工作。2.模型识别率的提升在实验中，模型的准确率还是从两个维度提升，一是数据，二是训练策略。数据准备：为了增加训练数据，我们结合语义分割算法，采用将人体服装划分区域然后重新着色的方法来增加角色id，但是这种方法依赖于语义分割算法的准确性,并且不同id的衣服颜色出现Duplicatecasesnoisy，无法大批量生成。此外，我们使用不同的行人重识别数据集作为源域和目标域来训练风格迁移网络，将不同数据集中不同镜头的数据风格相互转换，然后进行随机数据擦除处理，使得可以获得成倍的数据量。模型训练和策略：在网络训练中，采用ID分类损失和Triplet损失相结合的训练方式，使得模型既能兼顾类间距离，又能同时收敛类内距离.在推理测试中，采用了余弦距离的计算方法，使得提取的人体特征向量更容易区分。与欧氏距离的结果相比，rank-1指标可以提高1%。8、动态人脸库管理模块动态人脸库管理流程图通过动态创建人脸库的策略，提高陌生人管控效率，陌生人记录查询范围减少至少2阶规模。同时可实现对任意目标可疑人员的快速搜索和定位分析。由于陌生人的记录数据量会随着时间的推移逐渐增加，直接查询所有记录中陌生人的身份识别记录需要很长时间。通过在人脸识别后加入质量判断，将人脸合格的陌生人加入陌生人库进行管理，可以大大节省搜索的时间。在搜索陌生人记录时，只需要将被搜索人的图片与陌生人底层数据库进行特征匹配，即可实现百万图片全搜索，秒级响应。9.总结作为智能安防和智能监控场景的通用解决方案，跨镜追踪系统已经在中国移动智能家居运营中心园区进行了试点。在业务合作渠道的各个方面与更多的摄像头和硬件设备厂商进行合作，通过省公司的协助，打造一套软硬件一体化的智能监控管理系统，可以从智慧园区、智慧社区扩展到居民在社区、写字楼、产业园区、旅游景区、学校园区等场景，加强人员管控和区域安全保障，持续营造良好的社会环境和智慧生态。【本文为专栏作家《移动实验室》原创稿件，转载请联系原作者】点此阅读更多本作者好文
