目标检测、目标识别和分割任务的自动标注解决方案。大家好。在这篇博文中，我想分享我们在使用人工智能技术自主生成数据标签方面的工作。我们的完整论文可在此处获取-https://lnkd.in/gJDKQCYhttps://lnkd.in/gJDKQCY在我们了解我们的方法之前，让我们首先了解外行术语中的数据标签是什么。在机器学习中，数据标记只是识别原始数据（图像、视频、音频文件、文本文件等）并添加一个或多个有意义且信息丰富的标签以提供上下文的过程，以便机器学习模型可以从中学习并推断。大多数最先进的机器学习模型都高度依赖于大量标记数据的可用性，这是监督任务中的重要一步。各种用例都需要数据标签，包括计算机视觉、自然语言处理和语音识别。传统上，这种单调乏味的数据标记过程主要由人类完成。为了帮助人类最大限度地减少从头开始的疯狂数据标记工作和努力，我们提出了一种自动化算法解决方案，旨在减少大量手动工作。让我们看一下实际需要此类标签数据的参考。在这里，我将谈谈计算机视觉任务。计算机视觉简单来说就是复制人类视觉（humanvision）的复杂性，以及对周围环境的理解。计算机视觉任务包括获取、处理、分析和理解数字图像的方法，以及从现实世界中提取高维数据以产生数字或符号信息（例如以决策的形式）的方法。在计算机视觉领域，有许多不同的任务。我不会详细介绍它们，如分类、检测、分割等。但是，下图提供了这些任务的简明概述和目标，并提供了上下文中对象的示例-“香蕉”。标记数据的上下文要求示例为了监督模型检测对象——“香蕉”，带注释的标签被提供给模型，以便它可以学习香蕉像素的表示并在上下文中定位它们，然后可以用来推断看不见的/新数据。实例分割任务的目的是检测对象，定位这些对象，并提供有关它们的数量、大小和形状的信息。我们使用这样一个最先进的实例分割模型——“MaskR-CNN”作为我们框架的核心骨干，但可以根据他们的需要和目标在这里使用任何其他网络架构。我们坚持使用MaskR-CNN，因为它可以检测图像中的对象，同时为每个对象生成高质量的分割掩码。对于我们检测COVID感染的具体测试案例，感染区域的精确定位至关重要，因此像素级检测在这种情况下更为合适。我们的方法我们的工具管道如下所示，主要由检测器跟踪器、自动标记模块和输出机器标记标签并将其保存到磁盘的I/O模块组成。第1步：-用于像素级分类的对象检测和跟踪自定义弱训练MASK-RCNN模型，用于检测带有少量标记实例（<10个样本）的COVID感染。为了标记感染区域，我们使用了威盛（VIA）图像注释工具。是一款简单、独立的图像、音频、视频手动标注软件。VIA在网络浏览器中运行，不需要任何安装或设置。完整的威盛软件可以安装在一个独立的HTML页面中，该页面的大小小于400KB，并在大多数现代网络浏览器中作为离线应用程序运行。VIA是一个完全基于HTML、Javascript和CSS（无外部库）的开源项目。VIA由VisualGeometryGroup(VGG)开发，并根据BSD-2条款许可发布，这使得它对学术项目和商业应用都很有用。检测器用于获取局部掩码、边界框和类。其次，使用中央跟踪算法统一跟踪和标记输入视频数据流上的多个感染区域。下面给出了我们的MASK-RCNNCovid检测器的一个片段。第2步：-逐帧标记数据来自预训练检测器模型的推理用于获取边界框位置并创建JSON元数据。一旦使用Mask-RCNN对帧进行了分割，就会生成相应的感兴趣区域(ROI)。此外，为每个ROI生成一个掩码，然后对整个图像帧进行轮廓检测。然后，从轮廓中提取(x,y)坐标。最后，这些形状、面积和坐标属性逐帧保存到磁盘。下面给出了我们的自动标记算法的一个片段。示例-冠状病毒感染检测和自动标记我们测试了我们的方法，目的是为Covid感染区域生成自动计算机标签。机器生成和人工标注标签的结果如下所示。可以看出，自动注释引擎生成质量相当好的合成标签，可用于重新训练对象检测模型或生成更多可用于不同任务的注释数据。摘要数据标记是一项非常重要的任务，也是监督学习管道的关键组成部分之一。这是一项需要大量手动工作的任务。好吧，我们可以让大部分这些平凡、劳动密集型和耗时的工作由机器自动化，目标是最大限度地减少大量人工任务。我们通过一种直观的方法专注于这个普遍存在的问题，以在很大程度上缓解有限标签的瓶颈或我们自己从头开始标记大量实例的需要。注意：-我们的工具目前处于alpha测试阶段。目前，我们设计的框架基于MASKR-CNN和VIA注释格式。我们还打算推广我们的原型以包括不同的最先进的检测器，例如YOLO和相应的YOLO兼容注释格式。此外，我们计划集成COCO注释格式。值得将所有不同的图像注释集成为我们框架的一部分，同时提供具有不同库的工具，即Torch、TensorFlow、Caffe等。
