????????循环生成对抗网络(CycleGAN)是一种训练深度卷积神经网络以执行图像到图像翻译任务的方法。网络使用不成对的数据集学习输入和输出图像之间的映射。
????????CycleGAN 是图像到图像的翻译模型,就像Pix2Pix一样。Pix2Pix模型面临的主要挑战是训练所需的数据应该配对,即源域和目标域的图像应该位于相同的位置,并且两个域的图像数量也应该相同。
????????循环生成对抗网络(CycleGAN)是一种训练深度卷积神经网络以执行图像到图像翻译任务的方法。网络使用不成对的数据集学习输入和输出图像之间的映射。例如:从 SAR 生成 RGB 图像、从 RGB 生成多光谱图像、从卫星图像生成地图路线等。
????????该模型是 Pix2Pix 架构的扩展,涉及两个生成器模型和两个判别器模型的同时训练。除了 Pix2Pix 的功能之外,我们还可以使用不配对的数据集,并且还可以使用相同的模型反向转换图像(目标到源图像)。
图 1. CycleGAN 架构概述:从卫星图像转换到地图路线域 [3]
????????要了解 GAN 的基础知识,可以参考Pix2Pix 指南。
????????该模型架构由两个生成器模型组成:一个生成器(Generator-A)用于生成第一个域(Domain-A)的图像,第二个生成器(Generator-B)用于生成第二个域(Domain-B)的图像。
????????每个生成器都有一个相应的判别器模型(判别器-A 和判别器-B)。鉴别器模型从域中获取真实图像并从生成器中获取生成的图像来预测它们是真还是假。
在 中arcgis.learn
,所有判别器和生成器都被分组为一个模型。
????????用于训练生成器的损失由三部分组成:
* Domain-A -> **Generator-A** -> Domain-A
* Domain-B -> **Generator-B** -> Domain-B
????????由于所有这些损失函数在获得高质量结果方面都发挥着关键作用。因此,这两个生成器模型都是通过所有这些损失函数的组合来优化的。
arcgis.learn
????????首先,我们必须使用arcgis pro中的格式导出图像芯片,然后使用中的函数Export Tiles
创建一个databunchprepare_data
arcgis.learn
data = arcgis.learn.prepare_data(path=r"path/to/exported/data", dataset_type='CycleGAN')
????????要传递的重要参数是:
path
数据目录。我们需要遵循图2所示的目录结构。这里,“train_a”和“train_b”文件夹包含域A和B的图像。图 2. 目录结构
dataset_type
“CycleGAN”。????????创建数据束后,我们可以通过调用初始化 CycleGAN 对象
cyclegan_model = arcgis.learn.CycleGAN(data)
????????与其他一些模型不同,我们从头开始训练 CycleGAN,某些初始时期的学习率为 0.0002,然后在下一个时期将学习率线性衰减到零。
????????然后我们可以继续基本的 arcgis.learn 工作流程。有关 API 和模型的更多信息,请访问API 参考。
[1] Jun-Yan Zhu,Taesung Park,Phillip Isola,Alexei A. Efros,“使用循环一致对抗网络的不配对图像到图像翻译”,2017;arXiv:1703.10593。
[2] Jason Brownlee:Cyclegan 教程。访问日期:2020 年 9 月 29 日。
[3]。康宇豪、高松和罗伯特·E·罗斯。“使用生成对抗网络传输多尺度地图样式。”?国际制图杂志 5,no。2-3(2019):115-141。