2022 IEEE International Conference on Bioinformatics and Biomedicine (BIBM)
内镜下息肉分割在癌症的诊断和治疗中起着重要作用。然而,由于息肉的外观变化大、边界模糊和光照严重不平衡,其分割精度往往有限。在本文中,我们提出了一种新的翻译辅助分割网络(TASNet),用于单模态内窥镜图像的息肉分割。它由两个分支组成,即图像到图像转换分支和图像分割分支。这两个分支通过共享编码器进行通信。对于图像到图像的转换分支,建立了一种颜色反转策略,将原始图像作为源图像并合成目标图像。此外,我们还介绍了一个用于渐进分割的随机颜色反转合成模块。大量实验表明,在五个广泛使用的内窥镜图像数据集上,我们的框架比最先进的方法实现了更高的性能。
现有的分割方法在息肉分割中往往存在精度低的问题,主要有三个原因。
首先,息肉的外观,包括质地、大小、形状和颜色,随着不同类型和内镜摄像机角度的不断变化而有很大的差异。
其次,在某些情况下,息肉和背景组织之间的边界可能非常模糊和难以区分。
第三,内窥镜图像可能涉及高度不平衡的照明。这些问题极大地影响了现有方法的适用性,从而导致息肉分割结果不令人满意。
本文的主要贡献如下
两个双分支的网络,第一个双分支为粗分割和合成,第二个双分支为精细分割和合成
单一模态,通过颜色翻转策略生成辅助模态,以突出病灶区域,鼓励编码器更好的学习病灶特征
颜色反转背后的动机是在内窥镜图像中突出息肉区域。由于内窥镜图像的整体颜色是红色或其他暖色,因此红色通道中的像素值通常较高。颜色反转后,相反的颜色最大程度地突出息肉,同时保留了图像的原始纹理和照明信息
合成损失、GAN损失、分割损失
使用物理方法生成一个能清晰观察到病灶的模态,再通过合成、分割联合框架学习与病灶相关的特征,以增强语义分割的效果,在五个内窥镜图像数据集上测试均有提升,可见这种方式可以增强内窥镜图像中病灶的分割。是否有可能是隐式的多了数据增强?