目标
理解 Harris 角点检测的概念
学习函数:
cv2.cornerHarris()
,cv2.cornerSubPix()
原理
在上一节已经知道了角点的一个特性: 向任何方向移动变化都很大。 Chris_Harris 和 Mike_Stephens 早在 1988 年的文章《A CombinedCorner and Edge Detector》中就已经提出了焦点检测的方法, 被称为Harris 角点检测。他把这个简单的想法转换成了数学形式。 将窗口向各个方向移动(u,v)然后计算所有差异的总和。表达式如下:
窗口函数可以是正常的矩形窗口也可以是对每一个像素给予不同权重的高斯窗口
角点检测中要使 E (µ,ν) 的值最大。这就是说必须使方程右侧的第二项的取值最大。 对上面的等式进行泰勒级数展开然后再通过几步数学换算(可以参考其他标准教材), 得到下面的等式:
其中
这里 I x 和 I y 是图像在 x 和 y 方向的导数。(可以使用函数 cv2.Sobel()
计算得到)。
然后就是主要部分了。他们根据一个用来判定窗口内是否包含角点的等式进行打分。
其中
λ 1 和 λ 2 是矩阵 M 的特征值所以根据这些特征中可以判断一个区域是否是角点,边界或者是平面。
当 λ 1 和 λ 2 都小时,|R| 也小,这个区域就是一个平坦区域。
当 λ 1 ≫ λ 2 或者 λ 1 ≪ λ 2 ,时 R 小于 0,这个区域是边缘
当 λ 1 和 λ 2 都很大,并且 λ 1 ~λ 2 中的时,R 也很大, (λ 1 和 λ 2 中的最小值都大于阈值)说明这个区域是角点。
可以用下图来表示结论:
所以 Harris 角点检测的结果是一个由角点分数构成的灰度图像。 选取适当的阈值对结果图像进行二值化,就检测到了图像中的角点。 接下来将用一个简单的图片来演示一下。
OpenCV 中的 Harris 角点检测
Open 中的函数 cv2.cornerHarris()
可以用来进行角点检测。参数如下:
img
- 数据类型为 float32 的输入图像。blockSize
- 角点检测中要考虑的领域大小。ksize
- Sobel 求导中使用的窗口大小k
- Harris 角点检测方程中的自由参数,取值参数为[0,04,0.06]
.
例子如下:
import cv2
import numpy as np
from matplotlib import pyplot as plt
filename = 'img4.png'
img = cv2.imread(filename)
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
gray = np.float32(gray)
dst = cv2.cornerHarris(gray,2,3,0.04)
#result is dilated for marking the corners, not important
dst = cv2.dilate(dst,None)
# Threshold for an optimal value, it may vary depending on the image.
img[dst>0.01*dst.max()]=[0,0,255]
#cv2.imshow('dst',img)
plt.imshow(img)
plt.show()
# if cv2.waitKey(0) & 0xff == 27:
# cv2.destroyAllWindows()
import cv2
import numpy as np
filename = 'img8.png'
img = cv2.imread(filename)
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
# find Harris corners
gray = np.float32(gray)
dst = cv2.cornerHarris(gray,2,3,0.04)
dst = cv2.dilate(dst,None)
ret, dst = cv2.threshold(dst,0.01*dst.max(),255,0)
dst = np.uint8(dst)
# find centroids
ret, labels, stats, centroids = cv2.connectedComponentsWithStats(dst)
# define the criteria to stop and refine the corners
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 100, 0.001)
corners = cv2.cornerSubPix(gray,np.float32(centroids),(5,5),(-1,-1),criteria)
# Now draw them
res = np.hstack((centroids,corners))
res = np.int0(res)
img[res[:,1],res[:,0]]=[0,0,255]
img[res[:,3],res[:,2]] = [0,255,0]
#plt.imshow(img)
cv2.imwrite('subpixel5.png',img)
/tmp/ipykernel_2077/3102085347.py:24: DeprecationWarning: `np.int0` is a deprecated alias for `np.intp`. (Deprecated NumPy 1.24) res = np.int0(res)
True
结果如下,为了方便查看,对角点的部分进行了放大: