LAMA Inpaint：大型掩模修复

---

一、大掩模修复（LaMa）简介

1. LaMa方法的提出背景：现代图像修复技术主要受阻于大缺失区域、复杂几何结构和高分辨率图像，主要受阻原因是修复网络和损失函数都缺乏有效的感受野。
2. LaMa方法的核心思想：使用快速傅立叶卷积 fast Fourier convolutions (FFCs)来增大感受野，最终形成large mask inpainting (LaMa)。
3. LaMa的主要组成部分：
   • 一种新的使用快速傅里叶卷积的修补网络，具有图像范围感受野，傅里叶卷积可以视为self-attention的轻量级替代；
   • 一个高感受野感知loss；
   • large training masks，能发挥前两个组件的潜力。

二、大掩模修复（LaMa）的主要方法

目标： 修复一幅被未知像素m的二值遮罩遮罩的彩色图像x
方法：

1. 遮罩后的图像被表示为x⊙ m，m与x⊙ m堆叠在一起，产生一个四通道输入张量：x′=stack（x⊙ m、 m）
2. 使用一个前馈修复网络fθ（·），以x′为例，修复网络以完全卷积的方式处理输入，并产生修复的三通道彩色图像?x=fθ（x′）。
3. 训练是在从真实图像和合成生成的mask中获得的（image、mask）对数据集上进行的。
   

三、快速傅里叶卷积的修补网络

FFC基于一个channel-wise fast Fourier transform (FFT)，具有覆盖整幅图像的感受野，因此允许网络在 early layers 使用全局上下文，从而实现正确修复大mask。

图像与mask组成pair对输入网络并经过下采样后，进入FFC残差块。在FFC的处理过程中，会将输入tensor基于通道分为2部分分别走2个不同的分支：

• 使用传统卷积的局部分支，负责提取局部信息；
• 使用 real FFT 来获取全局上下文的全局分支，负责提取全局信息；
• 最后将局部信息和全局信息进行交叉融合，再基于通道进行拼接，得到最终的输出结果。

四、损失函数

总的损失，包括GAN的损失，生成器感知损失，判别器感知损失，判别器梯度惩罚。

1. GAN的损失

2. 生成器感知损失
   

3. 判别器感知损失
   

4. 判别器梯度惩罚
   

五、训练中的动态掩膜生成

• 作者认为掩膜的生成类似于数据增强，对模型的效果非常重要。作者采取了多种大掩膜生成方式，但也同时注意避免生成大于原始图像50%的掩膜；
• 每个训练样本 x′ 都是真实照片与合成生成的mask的叠加；
• 大掩模生成策略：统一使用从多边形链中提取的样本，该多边形链由高随机宽度（宽遮罩）和任意纵横比的矩形（长方体遮罩）展开。
  

参考：
深度学习-Resolution-robust Large Mask Inpainting with Fourier Convolutions基于傅里叶卷积的对分辨率鲁棒的掩模修复
Lama：《Resolution-robust Large Mask Inpainting with Fourier Convolutions》解读及实操
Resolution-robust Large Mask Inpainting with Fourier Convolutions 阅读笔记
图像修复之lama