【.com速译】图像分割是确定图像中对象边界和区域的过程。尽管人类不需要有意识地分割图像，但这仍然是机器学习系统面临的一个关键挑战。该技术对于增强自主机器人、自动驾驶汽车和其他必须与现实世界交互和导航的人工智能系统的能力至关重要。到目前为止，图像分割需要通过大型计算密集型神经网络进行处理。这使得许多设备很难在不连接到云计算服务器的情况下运行这些深度学习模型。DarwinAI和滑铁卢大学的研究人员已经成功地创建了一个神经网络，该网络提供近乎最佳的分割并且足够小以适合资源受限的设备。在今年的计算机视觉和模式识别(CVPR)会议上，研究人员详细介绍了名为“AttendSeg”的神经网络。对象分类、检测和分割对机器学习系统越来越感兴趣的主要原因之一是它们可以解决计算机视觉中的一些问题。机器学习在计算机视觉中最常见的应用包括图像分类、对象检测和图像分割。图像分类以确定图像中是否存在某种类型的对象。对象检测使图像分类更进一步，并提供检测到的对象所在的边界。分割有两种形式：语义分割和实例分割。语义分割可以为输入图像中的每个像素指定对象类别。实例分割区分每种类型对象的各个实例。在实践中，分割网络的输出通常由着色像素表示。分割是迄今为止最复杂的分类任务。ImageClassificationvsObjectDetectionvsSemanticSegmentation卷积神经网络(CNN)是一种常用于计算机视觉任务的深度学习架构，其复杂度通常以其参数的数量来衡量。神经网络的参数越多，它需要的内存量和计算能力就越高。RefineNet是一种流行的语义分割神经网络，包含超过8500万个参数，每个参数为4个字节，这意味着使用RefineNet的应用至少需要340M的内存来运行神经网络。考虑到神经网络的性能在很大程度上取决于能够执行快速矩阵乘法的硬件，这意味着必须将模型加载到图形卡或其他一些并行计算单元上，其中可用内存比计算少得多。边缘机器学习由于硬件要求，大多数图像分割应用程序需要互联网连接才能将图像发送到可以运行大型深度学习模型的云计算服务器。连接到云平台可能会限制可以使用图像分割的位置。例如，如果无人机或机器人要在没有互联网连接的环境中运行，那么执行图像分割将成为一项艰巨的任务。在其他领域，AI代理将在敏感环境中工作，将图像发送到云平台将受到隐私和安全限制。在需要来自机器学习模型的实时响应的应用程序中，往返于云端所造成的网络延迟可能令人望而却步。值得注意的是，网络硬件本身会消耗大量电量，并且将持续不断的图像发送到云端会对电池供电的设备造成负担。由于这些原因，边缘人工智能和微型机器学习（TinyML）已成为学术界和应用人工智能关注和研究的热点。TinyML的目标是创建可以在内存和功率受限设备上运行而无需连接到云平台的机器学习模型。AttendSeg设备上用于语义分割的神经网络架构DarwinAIInc.和滑铁卢大学的研究人员通过AttendSeg寻求解决边缘计算设备上语义分割的挑战。DarwinAI的联合创始人兼滑铁卢大学副教授AlexanderWong说：“AttendSeg的想法是由我们推动TinyML领域发展的愿望驱动的。我们认为它满足了DarwinAI的市场需求。高效我们的优势细分方法在工业上有很多应用，我认为正是这种反馈和市场需求推动了我们的研究。”Wong表示，AttendSeg是一款为TinyML应用程序量身定制的低精度、高度紧凑的设备。深度语义分割神经网络。AttendSeg深度学习模型以几乎与RefineNet相当的精度执行语义分割，同时将参数数量减少到119万。有趣的是，研究人员还发现，将参数的精度从32位（4字节）降低到8位（1字节）并没有导致显着的性能损失，同时将AttendSeg的内存占用减少了四倍。该模型需要1MB多一点的内存，这对于大多数边缘设备来说已经足够小了。AlexanderWong说，“根据我们的实验，8位参数对网络的泛化能力没有限制，这表明低精度表示在这种情况下非常有利。”实验表明，AttendSeg深度学习模型提供了最优化的语义分割，同时减少了参数数量和内存占用。一种用于计算机视觉的自注意力机制AttendSeg利用自注意力机制在不影响运行性能的情况下减小模型大小。自注意力机制是一种通过关注重要信息来提高神经网络效率的机制。自注意力机制一直是自然语言处理领域的福音。它们一直是Transformers等深度学习架构成功的决定性因素。虽然循环神经网络等以前的架构在较长数据序列上的容量有限，但Transformers使用自注意力机制来扩大其范围。GPT-3等深度学习模型利用“变形金刚”和自注意力机制来生成在长跨度上（至少表面上）连贯的长字符串。AI研究人员还利用自我注意机制来提高卷积神经网络的性能。去年，Wong和他的同事引入了一种非常节省资源的自注意力机制，并将其应用于图像分类器机器学习模型。“这种机制允许非常紧凑的深度神经网络架构仍然可以实现高性能，使它们成为边缘计算和TinyML应用程序的理想选择，”Wong说。设计TinyML神经网络的主要挑战之一是找到性能最佳的架构，同时注意不要超出目标设备的资源。为了应对这一挑战，研究人员使用了“生成合成”，这是一种机器学习技术，可以根据特定目标和约束创建神经网络架构。研究人员没有手动设置各种配置和架构，而是提供了一个带有问题空间的机器学习模型，使其能够发现最佳组合。Wong说，“这里使用的机器驱动设计过程（生成合成）需要人类提供初始设计原型及其指定的预期和数据，以定制最佳架构设计。”在他们的实验中，研究人员使用机器驱动设计来调整NvidiaJetson的AttendSeg，这是一个用于机器人和边缘AI应用程序的硬件包。但AttendSeg并不局限于Jetson。“从本质上讲，AttendSeg神经网络将在大多数边缘计算硬件上快速运行与之前文献中提出的神经网络相比，”Wong说。使用机器驱动的设计方法，可以创建一个新的高度定制的网络。“AttendSeg更适合无人机、机器人和自动驾驶汽车中的应用，在这些应用中，语义分割是实现导航的关键要求，但设备上的分割可以有更多的应用，”Wong说，“这种高度紧凑、更高效的分割神经网络可用于各个行业的应用，包括制造应用（例如零件检测/质量评估、机器人控制）、医疗应用（例如细胞分析、肿瘤分割）、卫星遥感应用（例如土地覆盖对象分割）和移动应用设备应用（例如增强现实中的人体分割）等《原标题：新的深度学习模型为边缘设备带来图像分割》，作者：BenDickson
