在提供了多个工业视觉智能质量检查项目之后，工业视觉智能团队发现了工业视觉智能的常见问题，创建了工业视觉智能平台，以及通过平台积累和改善工业视野的普遍能力。
该平台构建的核心能力是算法功能。Algorithm功能包括连续增强的单点算法功能和扩展新算法的能力。算法功能的载体，可以通过算法框架在同一时间向平台输出容量，我们可以研究和扩展算法功能。因此，算法框架的设计和演变对于检查的设计和演变至关重要。算法功能，增强算法功能，算法容量扩展和算法功能的输出。
在图像识别，分类，检测和细分的领域中，是最广泛使用的算法。在存在的情况下，许多方案，例如面部，城市，医疗保健，行业，娱乐和安全性需要图像识别算法。方案或相同场景发生变化，需要培训或重新培训该算法。
现有的培训框架问题和我们的改进点：
IVI算法框架是一个模块解耦，可扩展的深度学习视觉模型训练框架。该框架主要负责三个任务：分类，检测和分割。此框架主要分为八个模块：数据准备，配置生成，数据加载，数据加载，数据加载，数据集分析，模型培训，模型推理，模型评估和模型转换。数据准备模块，数据加载模块，数据集分析模块和模型评估模块继承可扩展模块。当模块增加操作时，它只需要根据扩展模块的要求编写操作。开发人员的开发下降，团队合作更加顺畅。
图1：主模块示意图
图2：主要任务图
图3：扩展模块实施图
可扩展模块主要分为四个部分。进程配置文件描述了模块使用的歌剧和操作员的过程。操作员的操作过程分为三个状态：初始化，构造和执行。初始化，将根据操作员注册表获得注册运算符的集合。根据流程配置文件构造操作过程时，在操作过程的注册过程中查找注册运算符，并初始化内容的内容。根据流程配置文件的文件，并根据过程配置文件配置操作员的操作过程。执行操作员的过程执行时，输入数据将根据操作过程进行操作。可伸缩模型主要反映在t的较新扩展性的两个方面他跟随操作员和操作员执行的可伸缩性。当添加操作员的较新的可扩展性时，仅需要根据固定规则将操作员添加到操作员集合中。操作员执行的可扩展性反映在说明中。根据配置文件的操作员。配置文件描述可以控制操作员的序列，数字和参数。
如图4所示，以[Alibaba Cloud的智能行业的培训任务·工业视觉智能平台]为例。在平台上打开默认的培训任务。该任务可以分为以下四个步骤：数据选择，培训，评估和模型提取。数据选择零件将调用数据准备，配置生成和数据集分析的模块。培训部分将调用数据模块加载，模型训练，模型推理和模型评估。评估零件将调用模型推理和模型评估模块。模型提取零件将调用模型转换模块。
1个数据准备模块
图4：平台培训过程的重要性
图5：数据准备模块示意图
数据准备模块在可扩展模块中继承。它主要分为三个步骤。
图6：平台数据准备图
数据准备模块的数据配置文件是通过默认配置文件和平台交互信息的融合来获得的。如平台数据准备的设计所示，左侧的数据集将数据集添加到所选数据集中。选择右标签选择页上的选择类别。右标签选择页的操作是相应的数据准备模块。当平台上添加数据集时，它将跳到下面显示的页面。在此页面上，您可以检查需要添加到培训中的数据集。在同一时间，您可以选择数据集扩展多个。
图7：平台添加数据集示意图
图8：数据准备模块占用示意图
数据准备模块包含操作人员，类别屏蔽，子数字切割，异常数据清洁，数据集除法等。将类别放大为示例，如图6所示，在阿里巴巴云的智能行业和工业的平台上所示视觉智能，可以为指定的标签扩展，可以选择扩展多个（如图9所示）。
图9：平台类别扩展乘数选择示意图
图10：数据准备模块处理示意图
数据准备模块如图10所示。数据准备模块获得了原始图像和原始标签数据。在使用数据处理过程来处理数据处理过程并处理后，形成了图像和多任务和格式培训数据。由多任务和公式培训数据形成的培训数据可以由多个培训任务（例如）使用此框架中的检测，细分和分类。例如，选择了异常的处理操作，并且图像和训练数据在处理和训练数据后不包括原始图像中的异常图像。例如，Sub -Diagram切割操作选择。处理图像可以是与原始图像相对应的子数字。如果后处理图像和多任务和公式的处理数据传递给OSS存储，则相同的培训任务可以选择直接继承数据。无需再次调用数据准备模块。使用相同的数据培训时，数据处理的问题。
2配置生成模块
图11：生成模块图的配置
配置生成模块如图11所示。数据准备模块处理数据后，将生成描述文件。在配置生成模块以接收默认配置后，数据准备模块和平台配置信息，全局配置。如图12所示，平台模型将在训练期间输入此页面。自定义培训参数配置是平台配置信息。平台配置信息包括模型选择配置，训练高级参数配置和图像预处理参数配置。如图13所示，该模型选择了负载训练的初始模型。其他相关配置。如图14所示。图片前-PRocessing参数配置负责训练过程中图像的输入分辨率和图像增强。全局配置是用于数据加载，数据集分析，模型培训，模型推理，模型评估和模型转换的配置文件。
图12：平台模型培训相关配置入口示意图
图13：平台模型培训模型选择配置图
图14：平台模型培训高级别参数配置示意图
图14：平台模型培训图像预处理参数配置示意图
3个数据加载模块
图15：数据加载模块示意图
数据加载模块继承了可扩展模块。如图15所示，数据加载模块分为三个步骤。
图16：数据加载操作占用示意图
图17：数据加载操作操作员可视化示意图
4个数据集分析模块
图18：数据集分析模块示意图
数据集分析模块继承了可扩展模块。如图18所示，数据集分析是集成数据加载模块，该模块分为四个步骤。
图19：数据集分析占据收集示意图
5型训练模块
图20：模型培训过程的绘制
图21：平台模型培训显示示意图
如图20所示，模型训练是集成的数据加载模块，分为四个步骤。
如图21所示，模型培训将根据间隔存储在本地或相应的OSS中，候选模型和实际时间将显示在平台中。在同一时间，该模型训练的日志文件为同时保存或对应于OSS。模型培训（损失）的损失值可以通过通信传递给工业视觉智能平台的后端程序。该图中的损耗曲线是显示前端训练框架返回的损失值。应该指出的是，构建算法模型和模型培训过程与各种任务兼容，以及数据准备的数据模型与各种任务兼容。这样，可以同时执行多任务兼容模型培训。设置分析功能不仅可以分析原始图和标记，还可以完全模拟培训的数据处理方法。这样，您可以在培训前找到数据集的特征，或检查数据处理和数据增强的结果提前操作，并根据培训的数据分析结果不断调整各种配置。要求使用默认配置或个人体验训练模型以避免盲目训练。同时，在数据加载功能之后，可以更深入地分析数据操作对数据集的影响，并可以进一步提供算法优化解决方案。
6个模型推理模块
图22：模型推理过程的演示
如图22所示，模型推理是集成数据加载模块，该模块分为四个步骤。
7模型评估模块
图23：模型评估过程的绘制
模型评估模块继承在可扩展模块中。如图23所示，模型评估是集成数据加载模块，该模块分为四个步骤。
模型推理的结果将保存到本地或OSS。模型训练模块，模型推理模块和模型评估模块独立存在。评估过程将不会占据培训时间和资源，并且可以有效地实施整体。
图24：整体评估的模型评估一些示意图
模型评估分为整体评估结果，详细的评估结果以及在工业视觉智能平台上显示的测试结果。24显示了模型的总体评估结果。左侧的图像和标签的数量显示了右侧的总体算法指标。图是目标检测的评估结果，因此显示了不同的IOU（性交比）下的MAP指标。25显示了模型评估的详细评估。可以在左侧调整不同类别的阈值，并且可以显示此类类别的图像数量和标签的数量。右侧是该类别在不同阈值下的召回和准确性曲线。
如图26所示，根据阈值中间设置的详细评估，可以显示正确的测试，错过的检查和误解，以更直观地查看模型的效果和问题。检查和误解。该平台将跳到图27中的页面。页面显示了原始图片，GT和类别的框和类别，以及AI算法预测。预测结果与标签框之间的差距。工业视觉智能平台可以执行多个模型评估功能。
如图28和图9所示，可以选择多个候选模型进行模型评估。可以看到，除了在此框架和平台组合中展示学术算法指标外，还显示了不同阈值下的各种指标。在不同的阈值下进行测试，错过检查和误解。
图25：示意图的模型评估部分的详细评估部分
图26：模型评估和测试结果的示意图的一部分
图27：模型评估单测试结果示意图
图28：平台多模型评估模型选择示意图的部分
图29：平台多模型评估模型启动部分示意图
8模型转换模块
图30：模型转换模块示意图
模型转换分为三个步骤。
相关文件存储在本地或上传到OSS。在生成模型推理时，配置文件和加密模型是使用相应的模型推理库设计的，可以直接使用。通过这种方式，用户不需要开发和部署对接，从而减少了对接。工作负载。此框架是与不同任务兼容的算法的培训。模型和与任务相关的信息将存储在配置文件中。
本文主要介绍IVI算法框架在工业视觉智能团队的实际战斗体验中设计和进化，并根据公共云平台的功能进行了更详细的介绍。在工业视觉智能的实际战斗中，我们将还遇到图像域差异，图像分辨率，目标缺陷，图像背景干扰算法的一些挑战时间，由于经常需要形成工业视觉智能方案的需求，频繁的需求，高算法合法化，高算法准确性和高需求响应速度要求。方法。
资料来源：阿里巴巴云