- 本章将介绍使用GrabCut算法提取图像前景的方法，并创建一个交互式应用来实现这一功能。
理论基础
GrabCut算法由微软剑桥研究院的Carsten Rother、Vladimir Kolmogorov和Andrew Blake在论文《GrabCut：基于迭代图割的交互式前景提取》 中提出， 旨在通过最小化用户交互实现前景提取。
用户只需在目标前景区域（需完全包含在矩形内）绘制外接矩形，算法通过迭代分割获得最佳结果。 若出现误判（如将前景误标为背景或反之），用户可通过白色笔触标记应属前景的区域或黑色笔触标记应属背景的区域进行修正，算法会在下次迭代中优化结果。 例如图中足球运动员被蓝色矩形框选后，经白/黑笔触局部修正，最终获得精确分割效果。
那么，背景中发生了什么？
用户划定矩形框后，框外区域被直接视为确定背景（因此要求目标物体必须全部包含在矩形内）， 框内区域则作为待识别区域。用户手动标记的前景/背景区域会被固定为硬标签。 系统首先根据输入数据进行初始标记，随后通过高斯混合模型（GMM）建立前景和背景的颜色分布模型， 将未标记像素归类为可能前景或可能背景（类似聚类过程）。
接着构建像素关系图，图中节点包含所有像素及额外添加的源节点（代表前景）和汇节点（代表背景）。 像素与源/汇节点的连接权重由其归属概率决定，像素间的边权重则由颜色相似度决定（差异越大权重越低）。 最后通过最小割算法分割图结构，以最小代价函数（被切割边权重总和）将图划分为连接源节点的前景区域和连接汇节点的背景区域， 该迭代过程持续至分类结果收敛（示意图可参考原论文）。
如下图所示（图片来源：http://www.cs.ru.ac.za/research/g02m1682/）
演示
现在将使用OpenCV实现GrabCut算法。OpenCV提供了cv2.grabCut()函数，其参数如下：
img：输入图像mask：掩模图像，用于指定背景、前景或可能的前景/背景区域。可用以下标志：cv2.GC_BGD、cv2.GC_FGD、cv2.GC_PR_BGD、cv2.GC_PR_FGD，或直接用0、1、2、3表示。rect：包含前景对象的矩形坐标，格式为(x, y, w, h)bgdModel、fgdModel：算法内部使用的数组，需创建两个大小为(1, 65)的np.float64类型零数组。iterCount：算法运行的迭代次数。mode：模式选择，如cv2.GC_INIT_WITH_RECT（矩形模式）或cv2.GC_INIT_WITH_MASK（掩模模式）。
首先让我们看看矩形模式操作步骤。
加载图像并创建掩模图像，
初始化fgdModel和bgdModel，设置矩形参数。
以cv2.GC_INIT_WITH_RECT模式运行算法（例如迭代5次）。
算法会修改掩模图像，其中像素被标记为上述四种标志。
将掩模中0（背景）和2（可能背景）的像素置为0，1（前景）和3（可能前景）的像素置为1。
最终掩模与输入图像相乘，即可得到分割结果。
import numpy as np
import cv2
from matplotlib import pyplot as plt
img = cv2.imread('/data/cvdata/messi5.jpg')
mask = np.zeros(img.shape[:2],np.uint8)
bgdModel = np.zeros((1,65),np.float64)
fgdModel = np.zeros((1,65),np.float64)
rect = (50,50,450,290)
cv2.grabCut(img,mask,rect,bgdModel,fgdModel,5,cv2.GC_INIT_WITH_RECT)
mask2 = np.where((mask==2)|(mask==0),0,1).astype('uint8')
img = img*mask2[:,:,np.newaxis]
plt.imshow(img),plt.colorbar(),plt.show()
(<matplotlib.image.AxesImage at 0x7f2b27427290>, <matplotlib.colorbar.Colorbar at 0x7f2b2751fa10>, None)
结果如下所示：
糟糕，梅西的头发不见了！谁喜欢没有头发的梅西呢？我们需要把它找回来。 于是用1像素的白色笔触（明确前景）在头发区域进行了精细标记。 同时，画面中出现了不需要的地面和logo部分， 用0像素的黑色笔触（明确背景）将其标记为需要去除的区域。
实际操作流程：
- 图层标记：在绘图软件中打开原图，新建透明图层
- 前景修复：用白色画笔标记遗漏的前景（头发、球鞋、足球等）
- 背景清理：用黑色画笔涂抹需要去除的背景（logo、多余地面等）
- 中性填充：其余背景区域用灰色填充
- 掩模合成：在OpenCV中加载这个手工修正的掩模图层，将其对应数值更新到原始掩模图像中
查看如下代码：
# newmask is the mask image I manually labelled
newmask = cv2.imread('/data/cvdata/newmask.png',0)
# whereever it is marked white (sure foreground), change mask=1
# whereever it is marked black (sure background), change mask=0
mask[newmask == 0] = 0
mask[newmask == 255] = 1
mask, bgdModel, fgdModel = cv2.grabCut(img,mask,None,bgdModel,fgdModel,5,cv2.GC_INIT_WITH_MASK)
mask = np.where((mask==2)|(mask==0),0,1).astype('uint8')
img = img*mask[:,:,np.newaxis]
plt.imshow(img),plt.colorbar(),plt.show()
[ WARN:0@6.784] global loadsave.cpp:268 findDecoder imread_('/data/cvdata/newmask.png'): can't open/read file: check file path/integrity
(<matplotlib.image.AxesImage at 0x7f2b27367080>, <matplotlib.colorbar.Colorbar at 0x7f2b259d3590>, None)
结果如下所示：
无需初始化矩形模式，可直接使用掩模模式，
在掩模图像中用2（可能背景）或3（可能前景）标记矩形区域。
用1像素明确标记确定前景（如第二个示例的操作），
直接以掩模模式（cv2.GC_INIT_WITH_MASK）运行grabCut函数。
练习
- 建议参考OpenCV示例中的
grabcut.py提供了基于GrabCut的交互式工具 - 推荐观看相关youtube video了解具体使用方法