imgaug库指南（15）：从入门到精通的【图像增强】之旅

引言

在深度学习和计算机视觉的世界里，数据是模型训练的基石，其质量与数量直接影响着模型的性能。然而，获取大量高质量的标注数据往往需要耗费大量的时间和资源。正因如此，数据增强技术应运而生，成为了解决这一问题的关键所在。而imgaug，作为一个功能强大的图像增强库，为我们提供了简便且高效的方法来扩充数据集。本系列博客将带您深入了解如何运用imgaug进行图像增强，助您在深度学习的道路上更进一步。我们将从基础概念讲起，逐步引导您掌握各种变换方法，以及如何根据实际需求定制变换序列。让我们一起深入了解这个强大的工具，探索更多可能性，共同推动深度学习的发展。

---

前期回顾

链接	主要内容
imgaug库指南（三）：从入门到精通的【图像增强】之旅	详细介绍了imgaug库的数据增强方法 —— 高斯模糊
imgaug库指南（四）：从入门到精通的【图像增强】之旅	详细介绍了imgaug库的数据增强方法 —— 均值模糊
imgaug库指南（五）：从入门到精通的【图像增强】之旅	详细介绍了imgaug库的数据增强方法 —— 中值模糊/滤波，并介绍了如何利用【中值滤波】过滤椒盐噪声
imgaug库指南（六）：从入门到精通的【图像增强】之旅	详细介绍了imgaug库的数据增强方法 —— 双边模糊/滤波
imgaug库指南（七）：从入门到精通的【图像增强】之旅	详细介绍了imgaug库的数据增强方法 —— 运动模糊
imgaug库指南（八）：从入门到精通的【图像增强】之旅	详细介绍了imgaug库的数据增强方法 —— 均值迁移模糊
imgaug库指南（九）：从入门到精通的【图像增强】之旅	详细介绍了imgaug库的数据增强方法 —— 加性噪声(Add方法)
imgaug库指南（十）：从入门到精通的【图像增强】之旅	详细介绍了imgaug库的数据增强方法 —— 加性噪声(AddElementwise方法)
imgaug库指南（11）：从入门到精通的【图像增强】之旅	详细介绍了imgaug库的数据增强方法 —— 加性高斯噪声(AdditiveGaussianNoise方法)
imgaug库指南（12）：从入门到精通的【图像增强】之旅	详细介绍了imgaug库的数据增强方法 —— 加性拉普拉斯噪声(AdditiveLaplaceNoise方法)
imgaug库指南（13）：从入门到精通的【图像增强】之旅	详细介绍了imgaug库的数据增强方法 —— 加性泊松噪声(AdditivePoissonNoise方法)
imgaug库指南（14）：从入门到精通的【图像增强】之旅	详细介绍了imgaug库的数据增强方法 —— 乘法运算(Multiply方法)

在本博客中，我们将向您详细介绍imgaug库的数据增强方法 —— 乘法运算(MultiplyElementwise方法)。

---

乘法运算(MultiplyElementwise方法)

功能介绍

iaa.MultiplyElementwise是imgaug库中的一个方法，用于对图像进行逐元素的乘法运算。这种运算通常用于调整图像的亮度或对比度。

语法

import imgaug.augmenters as iaa
aug = iaa.MultiplyElementwise(mul=(0.8, 1.2), per_channel=False)

• mul: 与图像像素值相乘的值。
  • 若mul为整数，则图像像素值相乘的值即为value；
  • 若mul为元组(a, b)，则图像像素值相乘的值为从区间[a, b]中采样的随机数；
  • 若mul为列表，则图像像素值相乘的值为从列表中随机采样的数；
• per_channel:
  • 若per_channel为True，则为每幅图像的每个像素点对应的通道上加上随机整数 ==> RGB图像指定像素位置上的三个通道分别对应三个随机整数，且每个像素点都对应不同的三个随机整数；
  • 若per_channel为False，则为每幅图像的每个像素点对应的通道上加上随机采样的相同整数 ==> RGB图像指定像素位置上的三个通道都是同一个随机整数，但每个像素点都对应不同的随机整数；
  • 若per_channel为区间[0,1]的浮点数，假设per_channel=0.6，那么对于60%的图像，per_channel为True；对于剩余的40%的图像，per_channel为False；

示例代码

1. 使用固定的mul，且per_channel为False

import cv2
import imgaug.augmenters as iaa
import matplotlib.pyplot as plt

# 读取图像
img_path = r"D:\python_project\lena.png"
img = cv2.imread(img_path)
image = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)


# 创建数据增强器
aug1 = iaa.MultiplyElementwise(mul=0.6, per_channel=False)
aug2 = iaa.MultiplyElementwise(mul=1.2, per_channel=False)
aug3 = iaa.MultiplyElementwise(mul=1.8, per_channel=False)



# 对图像进行数据增强
blurred_image1 = aug1(image=image)
blurred_image2 = aug2(image=image)
blurred_image3 = aug3(image=image)

# 展示原始图像和数据增强后的图像
fig, axes = plt.subplots(2, 2, figsize=(10, 10))
axes[0][0].imshow(image)
axes[0][0].set_title("Original Image")
axes[0][1].imshow(blurred_image1)
axes[0][1].set_title("Augmented Image1")
axes[1][0].imshow(blurred_image2)
axes[1][0].set_title("Augmented Image2")
axes[1][1].imshow(blurred_image3)
axes[1][1].set_title("Augmented Image3")
plt.show()

运行结果如下：

图1 原图及数据增强结果可视化

可以看到，当固定参数per_channel=False且mul参数为固定值时：

• 若mul参数小于零，新图像相比于原图，亮度会出现一定的降低。
• 若mul参数大于零，新图像相比于原图，亮度会出现一定的升高。

2. 使用随机的的mul，且per_channel为False

import cv2
import imgaug.augmenters as iaa
import matplotlib.pyplot as plt

# 读取图像
img_path = r"D:\python_project\lena.png"
img = cv2.imread(img_path)
image = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)


# 创建数据增强器
aug1 = iaa.MultiplyElementwise(mul=(0.3, 0.9), per_channel=False)
aug2 = iaa.MultiplyElementwise(mul=(1.2, 1.8), per_channel=False)
aug3 = iaa.MultiplyElementwise(mul=(0.3, 1.8), per_channel=False)



# 对图像进行数据增强
blurred_image1 = aug1(image=image)
blurred_image2 = aug2(image=image)
blurred_image3 = aug3(image=image)

# 展示原始图像和数据增强后的图像
fig, axes = plt.subplots(2, 2, figsize=(10, 10))
axes[0][0].imshow(image)
axes[0][0].set_title("Original Image")
axes[0][1].imshow(blurred_image1)
axes[0][1].set_title("Augmented Image1")
axes[1][0].imshow(blurred_image2)
axes[1][0].set_title("Augmented Image2")
axes[1][1].imshow(blurred_image3)
axes[1][1].set_title("Augmented Image3")
plt.show()

运行结果如下：

图2 原图及数据增强结果可视化

可以看到，当参数per_channel=False且mul参数为元组类型时：

• 若mul的取值区间均小于零，则新图像相比于原图，亮度会出现一定的降低，并且会出现大量随机噪声(每个像素位置应用不同的随机数)。
• 若mul的取值区间均大于零，则新图像相比于原图，亮度会出现一定的升高，并且也会出现大量随机噪声(每个像素位置应用不同的随机数)。

3. 使用随机的的mul，且per_channel为True

import cv2
import imgaug.augmenters as iaa
import matplotlib.pyplot as plt

# 读取图像
img_path = r"D:\python_project\lena.png"
img = cv2.imread(img_path)
image = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)


# 创建数据增强器
aug1 = iaa.MultiplyElementwise(mul=(0.3, 0.9), per_channel=True)
aug2 = iaa.MultiplyElementwise(mul=(1.2, 1.8), per_channel=True)
aug3 = iaa.MultiplyElementwise(mul=(0.3, 1.8), per_channel=True)



# 对图像进行数据增强
blurred_image1 = aug1(image=image)
blurred_image2 = aug2(image=image)
blurred_image3 = aug3(image=image)

# 展示原始图像和数据增强后的图像
fig, axes = plt.subplots(2, 2, figsize=(10, 10))
axes[0][0].imshow(image)
axes[0][0].set_title("Original Image")
axes[0][1].imshow(blurred_image1)
axes[0][1].set_title("Augmented Image1")
axes[1][0].imshow(blurred_image2)
axes[1][0].set_title("Augmented Image2")
axes[1][1].imshow(blurred_image3)
axes[1][1].set_title("Augmented Image3")
plt.show()

运行结果如下：

图3 原图及数据增强结果可视化

可以从图3看出，当使用元组类型的mul，且per_channel为True时 ? 增强器为RGB图像每个像素位置的三个通道分别添加了三个随机整数 ? 数据增强后，新图像的颜色整体上发生了很大的变化(出现了大量彩色噪声)。

注意事项

1. mul参数的选择：mul参数的选择会影响图像的亮度和对比度。较小的常数可能会导致图像变暗，而较大的常数可能导致对比度降低。需要根据实际需求调整。
2. 通道独立性：如果设置了per_channel=True，则每个通道将使用独立的mul。这可以用于独立调整不同颜色通道的亮度或对比度。
3. 与其他增强器的结合使用：可以与其他图像增强方法结合使用，以获得更丰富的效果。例如，可以先应用对比度调整，然后再应用逐元素的乘法运算。
4. 结果的可重复性：每次应用增强器可能会产生稍微不同的结果，因为它是非线性操作。为了确保结果的可重复性，可以使用aug.to_deterministic()方法将增强器转换为确定性状态。

总结

iaa.MultiplyElementwise是一个非常有用的图像增强方法，它允许用户通过逐元素的乘法运算来调整图像的亮度和对比度。与其他增强器结合使用，可以创造出丰富多样的图像效果。使用时需要注意常数的选择、通道独立性、与其他增强器的结合以及结果的可重复性等问题。

---

小结

imgaug是一个强大的图像增强库，它可以帮助你创建出丰富多样的训练数据，从而改进你的深度学习模型的性能。通过定制变换序列和参数，你可以轻松地适应各种应用场景，从计算机视觉到医学影像分析。随着深度学习的发展，imgaug在未来将继续发挥重要作用。因此，将imgaug纳入你的数据增强工具箱是一个明智的选择。

参考链接

---

结尾

亲爱的读者，首先感谢您抽出宝贵的时间来阅读我们的博客。我们真诚地欢迎您留下评论和意见，因为这对我们来说意义非凡。
俗话说，当局者迷，旁观者清。您的客观视角对于我们发现博文的不足、提升内容质量起着不可替代的作用。
如果您觉得我们的博文给您带来了启发，那么，希望您能为我们点个免费的赞/关注，您的支持和鼓励是我们持续创作的动力。
请放心，我们会持续努力创作，并不断优化博文质量，只为给您带来更佳的阅读体验。
再次感谢您的阅读，愿我们共同成长，共享智慧的果实！