如何使用背景分离方法

作者|OpenCV-Python Tutorials
编译|Vincent
来源|OpenCV-Python Tutorials
  • 背景分离（BS）是一种通过使用静态相机来生成前景掩码（即包含属于场景中的移动对象像素的二进制图像）的常用技术。
  • 顾名思义，BS计算前景掩码，在当前帧与背景模型之间执行减法运算，其中包含场景的静态部分，或者更一般而言，考虑到所观察场景的特征，可以将其视为背景的所有内容。

如何使用背景分离方法 - 图1

背景建模包括两个主要步骤：

  1. 背景初始化；
  2. 背景更新。

第一步，计算背景的初始模型，而在第二步中，更新模型以适应场景中可能的变化。

在本教程中，我们将学习如何使用OpenCV中的BS。

目标

在本教程中，您将学习如何：

  1. 使用cv::VideoCapture从视频或图像序列中读取数据；
  2. 通过使用cv::BackgroundSubtractor类创建和更新背景类；
  3. 通过使用cv::imshow获取并显示前景蒙版；

代码

在下面，您可以找到源代码。我们将让用户选择处理视频文件或图像序列。在此示例中，我们将使用cv::BackgroundSubtractorMOG2生成前景掩码。

结果和输入数据将显示在屏幕上。

  1. from __future__ import print_function
  2. import cv2 as cv
  3. import argparse
  4. parser = argparse.ArgumentParser(description='This program shows how to use background subtraction methods provided by \
  5.                                               OpenCV. You can process both videos and images.')
  6. parser.add_argument('--input', type=str, help='Path to a video or a sequence of image.', default='vtest.avi')
  7. parser.add_argument('--algo', type=str, help='Background subtraction method (KNN, MOG2).', default='MOG2')
  8. args = parser.parse_args()
  9. if args.algo == 'MOG2':
  10.     backSub = cv.createBackgroundSubtractorMOG2()
  11. else:
  12.     backSub = cv.createBackgroundSubtractorKNN()
  13. capture = cv.VideoCapture(cv.samples.findFileOrKeep(args.input))
  14. if not capture.isOpened:
  15.     print('Unable to open: ' + args.input)
  16.     exit(0)
  17. while True:
  18.     ret, frame = capture.read()
  19.     if frame is None:
  20.         break
  22.     fgMask = backSub.apply(frame)
  25.     cv.rectangle(frame, (10, 2), (100,20), (255,255,255), -1)
  26.     cv.putText(frame, str(capture.get(cv.CAP_PROP_POS_FRAMES)), (15, 15),
  27.                cv.FONT_HERSHEY_SIMPLEX, 0.5 , (0,0,0))
  30.     cv.imshow('Frame', frame)
  31.     cv.imshow('FG Mask', fgMask)
  33.     keyboard = cv.waitKey(30)
  34.     if keyboard == 'q' or keyboard == 27:
  35.         break

解释

我们讨论上面代码的主要部分：

  • 一个cv::BackgroundSubtractor对象将用于生成前景掩码。在此示例中，使用了默认参数，但是也可以在create函数中声明特定的参数。
  1. #创建背景分离对象
  2. if args.algo == 'MOG2':
  3.     backSub = cv.createBackgroundSubtractorMOG2()
  4. else:
  5.     backSub = cv.createBackgroundSubtractorKNN()
  • 一个cv::VideoCapture对象用于读取输入视频或输入图像序列。
  1. capture = cv.VideoCapture(cv.samples.findFileOrKeep(args.input))
  2. if not capture.isOpened:     
  3.     print('Unable to open: ' + args.input)
  4.     exit(0)
  • 每帧都用于计算前景掩码和更新背景。如果要更改用于更新背景模型的学习率，可以通过将参数传递给apply方法来设置特定的学习率。
  1.     #更新背景模型
  2.     fgMask = backSub.apply(frame)
  • 当前帧号可以从cv::VideoCapture对象中提取，并标记在当前帧的左上角。白色矩形用于突出显示黑色的帧编号。
  1.     #获取帧号并将其写入当前帧
  2.     cv.rectangle(frame, (10, 2), (100,20), (255,255,255), -1)
  3.     cv.putText(frame, str(capture.get(cv.CAP_PROP_POS_FRAMES)), (15, 15),
  4.                cv.FONT_HERSHEY_SIMPLEX, 0.5 , (0,0,0))
  • 我们准备显示当前的输入框和结果。
    1.   #展示当前帧和背景掩码
    2.   cv.imshow('Frame', frame)
    3.   cv.imshow('FG Mask', fgMask)

结果

  • 对于vtest.avi视频，适用以下框架： 如何使用背景分离方法 - 图2

MOG2方法的程序输出如下所示（检测到灰色区域有阴影）： 如何使用背景分离方法 - 图3

对于KNN方法，程序的输出将如下所示（检测到灰色区域的阴影）： 如何使用背景分离方法 - 图4

参考

  • Background Models Challenge (BMC) website
  • A Benchmark Dataset for Foreground/Background Extraction