BT-Unet使用Barlowtwin方法对U-Net模型的编码器进行无监督预训练,以减少冗余信息来学习数据表示。之后,对整个网络进行微调以执行实际的分割。BT-Unet由印度阿拉哈巴德信息技术研究所开发,并于JML2022上发布。BT-UnetBT-Unet架构图:a.预训练的U-Net编码器网络,b。使用预训练编码器权重初始化的微调U-Net模型。BT-Unet框架分为两个阶段:1)预训练阶段和2)微调阶段。预训练预训练的目的是使用未注释的数据样本学习复杂的特征表示。U-Net模型的编码器使用BarlowTwins(BT)策略进行预训练,然后进行微调以执行实际分割:BT-Unet框架可应用于各种高级U-Net模型:经典U-Net,注意力U-Net(A-Unet),初始U-Net(I-Unet)和剩余跨空间注意力引导初始U-Net(RCA-IUnet)。微调U-Net模型中编码器网络的权重使用预训练权重(来自第一阶段)进行初始化,而网络的其余部分使用默认权重进行初始化。微调具有有限注释样本的U-Net模型,用于生物医学图像分割。U-Net模型使用分段损失函数进行微调,L定义为二元交叉熵损失、LBC和骰子系数损失的平均值,LDC:其中y是像素的真实值标签,p(y)是预测的像素标签,N是像素总数。结果表明,论文使用以下数据集进行评估和比较:基于相同样本量的小训练集的性能分析KDSB18:BTU-Net模型的性能优于未使用该模型的模型BT方法。BUSIS:U-Net和A-Unet模型无法学习和提取关于肿瘤区域的特征图(准确率、DC和mIoU均为0),但通过预训练,这些模型取得了显着改进。在I-Unet和RCAIUnet模型的情况下,可以通过预训练获得相当大的改进。ISIC18:I-Unet和RCAIUnet模型是最有影响力的网络,准确率分别提高了5.1%和2.2%。然而,经典的U-Net和A-Unet在使用BT预训练时性能略有下降。BraTS18:I-Unet和RCA-IUnet模型在使用BT-Unet框架时实现了分割性能的显着改进,而普通U-Net和A-Unet模型没有观察到相同的行为。不同规模的小型训练集的性能研究对于训练数据比例小于50%的所有数据集,观察到模型之间的性能差异相似。定性结果RCA-IUNetwithBT具有良好的分割效果。
