但传统的人工监管方式存在以下问题：人工监管无法实时记录进出车辆的综合信息，并将信息格式化输出，如如车牌、进出状态、车辆颜色、车辆类别等；人工监管无法实时抓拍车辆图片，作为备份存储，更客观地呈现车辆外观；人工监管可能因看守人员疲劳而造成遗漏或记录错误；人工监管无法24小时对车辆进行监控，不方便看守人员开展其他工作。传统人工监管方式的弊端越来越突出，需要一种新的方式对车辆进行监管。智慧家庭运营中心自研场景化AI智能分析能力，为社区、村庄打造“车牌多功能摄像头”。主要针对小区门口和道路场景，对过往车辆进行结构化信息提取，对车辆进行抓拍并上报给平台，提示工作人员进行相应处理。实现“预防为主、微观预防、全程监管、社会共治”的创新监管模式。Part01.车牌检测目标检测是比图像分类更进一步的AI技术。目标检测除了识别分类图像中的目标类别外，还需要用边界框标记目标。因此，目标检测任务过程可以分为两类，包括One-stage方法和Two-stage方法。初始目标检测任务是两阶段算法，主要分为两个步骤，包括检测框的确定和目标分类。首先通过特定的网络结构生成目标的检测框，确定目标的边界，然后对边界框中的内容进行图像分类，确定其属于哪一类。两阶段算法中最著名的算法是FasterR-CNN，检测精度高，但算法运行速度慢，不适合cameraend-side处理。相比之下，one-stage算法直接通过网络确定物体的边界框和类别。其中YOLO系列是设备端使用最广泛、最成熟的one-stage目标检测算法。经过五个版本的迭代，YOLOv5既保证了运行速度，又保证了算法精度，所以我们在设备端采用YOLOv5作为车牌检测算法，图1(a)是YOLOv5[1]的主要算法框架。为了进一步提高检测速度，我们使用模型剪枝和量化方法来简化算法框架。图1(b)是道路场景检测示意图。图1(a)YOLOv5主要算法框架图1(b)道路场景检测示意图Part02，车牌字符识别在车牌字符识别步骤中，使用了文本识别技术。根据车牌检测的结果，我们识别出车牌区域的文字内容。在文本识别算法中，通常采用基于CTC的字符识别算法。典型的算法模型是CRNN[2]。图2是CRNN算法的结构图。CRNN网络主要分为CNN和RNN网络。首先利用CNN网络如VGG、ResNet、MobileNet等骨干网络提取文本区域的深度特征，然后利用双向LSTM结构对深度特征进行处理，得到输入的上下文信息的序列特征图像，最后将序列特征输入CTC损失函数解码序列结果。在实际应用中，由于摄像头拍摄角度的问题，车牌图片往往存在一定的变形，不规则的文字不利于识别。为了提高该场景下的识别准确率，我们在车牌检测后、文本识别前添加了文本校正模块，将不规则文本校正为常规文本。利用空间变换网络STN[3]，将不规则的文字图像通过空间变换进行校正，使其在水平方向上成为规则图像，然后送入CRNN算法得到车牌字符识别结果。(a)(b)图2CRNN算法结构和校正网络结构Part03，车辆属性识别车辆属性主要包括车辆类型和颜色信息。在实际抓拍过程中，抓拍到的往往是车辆的局部信息，如图3所示，视角的限制和环境的影响会降低车辆属性识别的准确率。为了尽可能多地、连续地捕获车辆的综合信息，我们使用3D卷积分类来提取整个时间序列上的车辆信息，识别出车辆在一定时间段内不同视角的属性。图3.拍摄的单帧图片的视角限制二维卷积是对单帧图片的卷积操作，二维卷积的输入是H*W的二维矩阵。三维卷积[4]是对多帧图片的卷积运算。三维卷积的输入是一个H*W*C的三维矩阵，相比之下深度为C。三维卷积在图片的三个方向滑动，每个位置都会通过卷积运算输出一个值。与二维卷积相比，三维卷积可以同时对时间序列中的多帧图片进行卷积，得到图片的时间序列特征。图4为车辆属性三维卷积分析示意图。图4利用3D卷积得到车辆属性识别结果实现“预防为主、微观预防、全程监管、社会共治”的创新监管模式。目前已落地甘肃31个社区，并以此为锚，拓展场景化业务，助力安防业务升级转型，实施智慧防疫和数字村庄建设。
