OpenCV-Python(41):背景减除

目标

• 学习并掌握OpenCV中的背景减除方法

背景说明

????????在很多基础应用中背景检出都是一个非常重要的步骤。例如：顾客统计，使用一个静态摄像头来记录进入和离开房间的人数，或者是交通摄像头，需要提取交通工具的信息等。在所有的这些例子中，首先需要将人或车单独提取出来。技术上来，我们需要从静止的背景中提取移动的前景。
????????如果你有一张背景（仅有背景不含前景）图像，比如没有顾客的房间，没有交通工具的道路等，那就好办了。我们只需要在新的图像中减去背景就可以得到前景对象了。但是在大多数情况下，我们没有这样的(背景)图像,所以我们需要从我们已有的图像中提取背景。如果图像中的交通工具还有影子的话，这个工作就更难了。因为影子也在移动，仅仅使用减法会把影子也当成前景。这真是一件很复杂的事情。

????????为了实现这个目的，科学家们已经提出了几种算法。OpenCV 中已经包含了其中三种比较容易使用的方法。我们一个一个学习一下吧。

BackgroundSubtractorMOG算法

? ? ? ? 该算法是一个以混合高斯模型为基础的前景/背景分割算法。P.KadewTraKuPong和R.Bowden 在2001 年提出的。它使用K(K=3 或5)个高斯分布混合对背景像素进行建模。使用这些颜色(在整个视频中)存在时间的长短作为混合的权重。背景的颜色一般持续的时间最长，而且更加静止。一个像素怎么会有分布呢？在x，y 平面上一个像素就是一个像素没有分布，但是我们现在讲的背景建模是基于时间序列的，因此每一个像素点所在的位置在整个时间序列中就会有很多值，从而构成一个分布。

????????在编写代码时，我们需要使用函数:cv2.createBackgroundSubtractorMOG()创建一个背景对象。这个函数有些可选参数，比如要建模场景的时间长度，高斯混合成分的数量阈值等。将他们全部设置为默认值。然后在整个视频中我们需要使用backgroundsubtractor.apply() 就可以得到前景的掩模了。

? ?cv2.createBackgroundSubtractorMOG()函数是OpenCV库中的一个背景减除算法函数，用于从视频序列中提取前景对象。背景减除是一种常用的计算机视觉技术，用于将运动物体从静止背景中分离出来。该算法基于Gaussian Mixture Models（GMM）模型，通过对每个像素的颜色值建模，将其分类为背景或前景。

函数的语法如下：

cv2.createBackgroundSubtractorMOG(history, nmixtures, backgroundRatio, noiseSigma)

参数说明：

• history：表示背景模型需要记住多少帧，默认为200。
• nmixtures：表示GMM模型中的混合成分数量，默认为5。
• backgroundRatio：表示背景模型所占的比例，默认为0.7。
• noiseSigma：表示高斯分布的标准差，默认为0。

返回值是一个cv2.BackgroundSubtractorMOG对象，它可以通过调用apply()方法来对视频帧进行背景减除。使用示例：

import cv2

cap = cv2.VideoCapture("video.mp4")
fgbg = cv2.createBackgroundSubtractorMOG()

while True:
    ret, frame = cap.read()
    if not ret:
        break

    fgmask = fgbg.apply(frame)

    cv2.imshow("Frame", frame)
    cv2.imshow("FG Mask", fgmask)

    if cv2.waitKey(1) == 27:  # 按下ESC键退出
        break

cap.release()
cv2.destroyAllWindows()

BackgroundSubtractorMOG2算法

????????该算法也是以高斯混合模型为基础的背景/前景分割算法。它是以2004 年和2006 年Z.Zivkovic 的两篇文章为基础的。这个算法的一个特点是它为每一个像素选择一个合适数目的高斯分布(上一个方法中我们使用是K高斯分布)。这样就会对由于亮度等发生变化引起的场景变化产生更好的适应。
????????和前面一样我们需要创建一个背景对象。但在这里我们我们可以选择是否检测阴影。如果detectShadows = True(默认值)，它就会检测并将影子标记出来，但是这样做会降低处理速度。影子会被标记为灰色。

import cv2

cap = cv2.VideoCapture("video.mp4")
fgbg = cv2.createBackgroundSubtractorMOG2()

while True:
    ret, frame = cap.read()
    if not ret:
        break

    fgmask = fgbg.apply(frame)

    cv2.imshow("Frame", frame)
    cv2.imshow("FG Mask", fgmask)

    if cv2.waitKey(1) == 27:  # 按下ESC键退出
        break

cap.release()
cv2.destroyAllWindows()

BackgroundSubtractorGMG算法

????????此算法结合静态背景图像估计和每个像素的贝叶斯分割。2012 年Andrew_B.Godbehere，

Akihiro_Matsukawa 和Ken_Goldberg 在文章中提出的。
????????它使用前面很少的图像(默认为前120 帧)进行背景建模。使用了概率前景估计算法(使用贝叶斯估计鉴定前景)。这是一种自适应的估计，新观察到的对象比旧的对象具有更高的权重，从而对光照变化产生适应。一些形态学操作如开运算闭运算等被用来除去不需要的噪音。在前几帧图像中你会得到一个黑色窗口。对结果进行形态学开运算对于去除噪声很有帮助。

import numpy as np
import cv2

cap = cv2.VideoCapture('vtest.avi')
kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE,(3,3))
fgbg = cv2.createBackgroundSubtractorGMG()

while(1):
    ret, frame = cap.read()
    fgmask = fgbg.apply(frame)
    fgmask = cv2.morphologyEx(fgmask, cv2.MORPH_OPEN, kernel)
    cv2.imshow('frame',fgmask)
    k = cv2.waitKey(30) & 0xff
    if k == 27:
        break
cap.release()
cv2.destroyAllWindows()

结果展示?

原始图像

????????下图显示了一段视频中的第200 帧图像:

BackgroundSubtractorMOG的结果?

BackgroundSubtractorMOG2的结果?

????????灰色区域代表阴影。

BackgroundSubtractorGMG的结果?

????????使用形态学开运算将噪音去除。

?