文献速递：生成对抗网络医学影像中的应用——基于生成对抗网络的医学图像处理：系统综述

本周给大家分享文献的主题是生成对抗网络（Generative adversarial networks, GANs）在医学影像中的应用。文献的研究内容包括同模态影像生成、跨模态影像生成、GAN在分类和分割方面的应用等。生成对抗网络与其他方法相比展示出了优越的数据生成能力，使它们在医学图像应用中广受欢迎。这些特性引起了医学成像领域研究人员的浓厚兴趣，导致这些技术在各种传统和新颖应用中迅速实施，如图像重建、分割、检测、分类和跨模态合成。

01

文献速递介绍

在过去几年中，医学图像领域专注于监督学习决策边界，而生成任务在很大程度上被忽视了。自人工智能时代开始以来，这种情况似乎随着深度学习方法的提出和崛起发生了戏剧性变化，引发了一波分布式学习和生成模型的浪潮。深度学习技术最近作为医学图像分析的工具获得了广泛的接受。然而，训练数据的稀缺性和可用性仍然是主要障碍，尤其是在医学领域的特殊情况下，医学图像数据获取成本高昂且受隐私法规的约束。针对这一棘手问题，数据增强方法可以提供解决方案，通过显著增加用于训练的数据量和多样性。数据增强方法包括简单但出乎意料的高效操作，如裁剪、填充和翻转，以及复杂的深度生成模型。然而，由于其在模拟数据分布方面的卓越能力，生成对抗网络（GANs）从各种生成模型中脱颖而出，缩小了监督学习和图像生成之间的差距，以生成高度逼真的医学图像。这些模型在许多图像生成任务中取得了最先进的性能，包括文本到图像的合成、超分辨率和图像到图像的转换。此外，由于它们在捕捉空间复杂、非线性以及可能微妙的疾病效应方面的卓越能力，GANs及其变体在医学成像中受到广泛关注，例如在数字病理学、组织病理学、神经成像、放射学和临床神经科学中。

GAN（生成对抗网络）是由Goodfellow等人在2014年提出的。判别器和生成器是GAN的两个主要组成部分。生成器的目标是产生足以欺骗判别器的真实样本，而判别器则应能够区分真实样本和生成样本。为了不断提高它们的技能，并最终达到纳什均衡状态，这一过程通过对抗性训练来实现。GAN的优化是一个“最小最大博弈”问题，它通过使生成器产生的数据分布尽可能接近真实数据分布来“迷惑”判别器。

之前对GANs的许多综述主要关注于特定任务在医学图像处理领域的技术细节，或将GANs作为深度生成模型的一个分支与其他方法一起回顾。然而，对于解决众所周知且具有挑战性的医学图像分析任务，包括医学图像重建、图像分辨率增强、分割、病变检测、数据模拟和分类，GANs及其扩展已经开辟了许多有趣的路径。有了这些生成模型，由于它们产生逼真图像的能力，可能解决医学领域持续的标注数据匮乏问题。虽然其他作品中已经展示了GAN在医学图像处理中的各种应用，但本文通过提出新的GAN变体，扩展了这些应用，从而确保了这些方法的有效性。

每个月都有许多使用GANs及其扩展的出版物用于各种医学任务。这激发了我们对GANs及其在医学图像处理中的使用和功能进行简洁说明和高层次概述的愿望。在这项评估中，我们覆盖了各种数据集类型和更广泛的下游应用。我们还更详细地讨论了各种改进技术的优势。我们希望这项研究能成为受医学图像数据不足限制的研究人员和从事医学图像改进方法的人员的有用资源，特别是对于该领域的新手，通过提供必要的知识和指导。

为此，搜索论文的来源包括PubMed和谷歌学术。近年来出版的医学图像处理论文可以分为以下几个领域：合成、分割、检测、去噪、转换、重建和分类，如图（1）所示。这些基于GAN的方法应用于各种医学成像模式，如磁共振成像（MRI）、计算机断层扫描（CT）、光学相干断层扫描（OCT）、X射线、皮肤镜、超声、正电子发射计算机断层扫描（PET）和显微成像。本综述总结了过去六年（2017-2022）基于GAN的医学图像处理应用出版的95篇论文。它们的分类如图（2）所示。本文的其余部分结构如下：第2节描述了我们文献综述的策略和识别及分类发表文章的标准。第3节介绍了GANs的基本原理和局限性，第4节总结了特别用于医学图像处理问题的GAN模型结构。第5节讨论了GAN模型在图像处理中的应用。

Title

题目

Medical Image Processing based on Generative Adversarial Networks: ASystematic Review

基于生成对抗网络的医学图像处理：系统综述

Abstract-Background

摘要-背景

Generative adversarial networks (GANs) have demonstrated superior data generation capabilities compared to other methods, making them popular for use in medical image applications. These features have intrigued researchers in the medical imaging field, resulting in a swift implementation of these techniques in various conventional and novel applications such as image reconstruction, segmentation, detection, classification, and cross-modality synthesis. A comprehensive review of recent medical imaging breakthroughs will benefit researchers interested in this field. In this review, we aimed to introduce the origin, principle, and extended forms of GANs and summarize the state-of-the-art progress of GAN-based medical image processing methods.

生成对抗网络（GANs）相较于其他方法展示出了卓越的数据生成能力，使其在医学图像应用中变得流行。这些特点吸引了医学成像领域的研究人员，导致这些技术在各种传统和新兴应用中迅速实施，如图像重建、分割、检测、分类和跨模态合成。对近期医学成像突破的全面回顾将有利于对这一领域感兴趣的研究人员。在这篇综述中，我们旨在介绍GANs的起源、原理及其扩展形式，并总结基于GAN的医学图像处理方法的最新进展。

Methods

方法

We searched the literature for studies on Google Scholar and PubMed using the keywords “Segmentation,” “Classification,” “medical image,” and“generative adversarial network.” Specifically, the initial search revealed 5423 publications after the removal of duplicated and non-accessible fulltext publications. Then, after the title and abstract screening, 680 underwent full-text screening. Finally, 121 studies were included in our finalanalysis after full-text screening.

我们在谷歌学术和PubMed上搜索了关键词“分割”、“分类”、“医学图像”和“生成对抗网络”的研究文献。具体来说，初步搜索在去除重复和无法访问的全文出版物后，共发现了5423篇出版物。然后，在标题和摘要筛选后，有680篇进行了全文筛选。最终，经过全文筛选，共有121项研究被纳入我们的最终分析。

Results

结果

The date range of the studies covered in this review is from January 1, 2017, to the present. After a thorough screening and qualification

*assessment, 121 studies involving GAN-based applications in seven areas of medical images were included in the final methodological review.*These areas included synthesis, classification, segmentation, conversion, reconstruction, denoising, and lesion detection. We further classified and summarized these papers into clinical applications, classification methods, and imaging modalities.

本综述所涵盖的研究日期范围从2017年1月1日至今。经过彻底筛选和资格评估后，共有121项研究涉及基于GAN在七个医学图像领域的应用，被纳入最终的方法论综述。这些领域包括合成、分类、分割、转换、重建、去噪以及病变检测。我们进一步将这些论文分类并总结为临床应用、分类方法和成像模式。

Conclusions
结论

We thoroughly examined the latest research progress of GAN-based medical image augmentation. These techniques effectively alleviate the challenge of limited training samples for medical image diagnosis and treatment models. Furthermore, several critical issues associated with GANs, such as pattern collapse, instability, and lack of interpretability, require attention in future research.

我们全面审查了基于GAN的医学图像增强的最新研究进展。这些技术有效地缓解了医学图像诊断和治疗模型训练样本有限的挑战。此外，与GANs相关的几个关键问题，如模式崩溃、不稳定性和缺乏可解释性，在未来的研究中需要引起注意。

Figure

图

Fig. (1). Application of GANs in the field of medical images.

图（1）。GAN在医学图像领域的应用

Fig. (2). (a, b) Classification of imaging modalities and clinical areas.

图（2）。(a, b) 成像模式和临床领域的分类

Fig. (3). PRISMA flow diagram for literature review and article selection.

图（3）。PRISMA流程图，用于文献综述和文章选择。

Fig. (4). The basic model of GAN, consisting of two main parts: generator G and discriminator D. G maps the noise vector to fit the real data

图（4）。GAN的基本模型，由两个主要部分组成：生成器G和判别器D。G将噪声向量映射以适应真实数据

Fig. (5). Main variants of GAN for medical image processing.

图（5）。用于医学图像处理的GAN的主要变体。

Fig. (6).A schematic view of various GANs frameworks. In cGAN and AC-GAN, a discrete categorical code that encodes a class label is denoted by the conditional vector C. It may also be a continuous code that encodes attributes in InfoGAN. Pix2pix requires aligned training data. Although this constraint is not required in CycleGAN, it commonly suffers from performance loss. The activation function in D is from the original paper.

图（6）各种GAN框架的示意图。在cGAN和AC-GAN中，编码类标签的离散分类代码由条件向量C表示。它也可能是在InfoGAN中编码属性的连续代码。Pix2pix需要对齐的训练数据。尽管CycleGAN不需要这个约束，但它通常会遭受性能损失。D中的激活函数来自原始论文。

Fig. (7). Network structure of generator and discriminator in DCGAN.

图（7）。DCGAN中生成器和判别器的网络结构。

Table

表

Table 1. A summary of the main characteristics and highlights of GAN and its variants.

表 1. GAN及其变体的主要特征和亮点摘要。

Table 2. Summary of cross-modality synthesis in medical image applications for both inter- and intra-modality.

表 2. 医学图像应用中跨模态合成的总结，包括模态间和模态内。

Table 3. Sum**mary of classification in medical image applications.

表 3. 医学图像应用中分类的总结

Table 4. Summary of brain segmentation in medical image applications

表4. 医学图像应用中脑部分割的总结

Table 5. Summary of ocular segmentation in medical image applications.

表 5. 医学图像应用中眼科分割的总结。

Table 6. Summary of cardiac segmentation in medical image applications.

表6. 医学图像应用中心脏分割的总结。

Table 7. Summary of chest and abdomen segmentation in medical image applications.

表7. 医学图像应用中胸部和腹部分割的总结。

Table 8. Summary of spine and pelvis segmentation in medical image applications.

表8. 医学图像应用中脊柱和骨盆分割的总结。

Table 9. Summary of translation in medical image applications.

表9. 医学图像应用中翻译的总结。

Table 10. Summary of reconstruction in medical image applications.

表10. 医学图像应用中重建的总结。

Table 11. Summary of denoising in medical image applications.

表11. 医学图像应用中去噪的总结

Table 12. Summary of detection in medical image applications.

表12. 医学图像应用中检测的总结。