当前位置: 首页 > 网络应用技术

Tensorflow2实现空间自适应归一化(Spade)。

时间:2023-03-07 23:13:36 网络应用技术

  空间自适应标准化()是中国的主要创新点。它用于语义分割图的层调节。为了更好地解释,需要首先要理解的网络输入。

  考虑训练。从视觉上讲,但这对研究神经网络没有帮助,因为它不是色彩的语义。

  颜色空间中较近的颜色并不意味着它们接近语义。例如,我们可以使用浅绿色代表草和深绿色代表飞机。即使分割图的色调接近,它们的语义也无关。

  因此,我们应该使用标签代替着色像素。但是,由于类别标签是随机分布的,它们仍然无法解决问题,并且它们没有语义。因此,一种更好的方法是使用带有标签1的分段掩码。该像素中有一些对象,否则使用标签0 0的分割掩码。换句话说,我们将分割图中的标签编码为形状的形状。

  在编码中,删除了一些对于压缩过程中视觉效果并不重要的视觉信息。即使像素应属于同一类别并看起来相同的颜色,它们可能具有不同的值。为了解决此问题,我们需要使用不舒服的图片格式。在图像加载和预处理中,我们将加载文件并将其从“完成”编码中的掩模中转换。

  有时,基本图像预处理无法执行一些复杂的任务,因此我们需要使用其他库来允许我们在培训过程中运行一个共同的功能:

  在了解独特热的语义分割面罩的格式之后,我们将使用它。

  它在图像生成中非常受欢迎,但通常会削弱语义语义语义:假设输入图像仅包含一个分段标签;例如,整个图像是天空,因为输入具有均匀的值,因此输出通过层通过卷积将其传递给层,它也将具有均匀的值。

  实例本机是计算每个通道的跨度尺寸(H,W)的平均值。语义已经丢失。这是一个非常极端的例子,但是逻辑是相似的。我们可以看到,随着面积的增加,分割面膜失去了语义含义。

  为了解决此问题,它已经标准化了由分割面罩限制的局部区域,而不是整个掩码。体系结构显示了下图:

  在批处理背景中,交叉维通道的平均和标准偏差相同。区别在于,每个段落不再是标量值,而是两个维度的矢量,形状是。从语义分割中学到的每个激活都有一个和谐。因此,将归一化应用于不同的分割区域。通过使用两个卷积层学习两个参数,如下图所示:

  它不仅应用于网络输入阶段,而且还应用于内部层。现在,我们可以实现使用的自定义层。

  卷积层将首先在构造函数中定义,如下所示:

  接下来,获取激活尺寸以调整将来的大小:

  最后,中间的一般层和操作是连接的,如下所示:

  接下来,我们将研究如何使用它。

  最后,您将研究如何插入残留块:

  残留块中的基本构造块是层。east接受两个输入 - 上一层的激活和语义分割图。

  像标准残差块一样,有两个卷积层和一个跳跃路径。长期以来,如残留块发生变化之前和之后,需要学习跳跃连接。发生这种情况时,这两个输入的激活图前路将具有不同的尺寸。

  最后,连接到中间的每一层: