目标
学习摄像机畸变以及摄像机的内部参数和外部参数
学习找到这些参数，对畸变图像进行修复
基础
今天的低价单孔摄像机（照相机）会给图像带来很多畸变。 畸变主要有两种：径向畸变和切想畸变。 如下图所示，用红色直线将棋盘的两个边标注出来， 但是会发现棋盘的边界并不和红线重合。 所有认为应该是直线的也都凸出来了。 可以通过访问Distortion (optics)获得更多相关细节。
这种畸变可以通过下面的方程组进行纠正：
于此相似，另外一个畸变是切向畸变，这是由于透镜与成像平面不可能绝对平行造成的。 这种畸变会造成图像中的某些点看上去的位置会比我们认为的位置要近一些。 它可以通过下列方程组进行校正：
简单来说，如果想对畸变的图像进行校正就必须找到五个造成畸变的系数：
除此之外，还需要再找到一些信息，比如摄像机的内部和外部参数。
内部参数是摄像机特异的。 它包括的信息有焦距（f x ,f y ），光学中心（c x ,c y ）等。 这也被称为摄像机矩阵。 它完全取决于摄像机自身， 只需要计算一次，以后就可以已知使用了。 可以用下面的 3x3 的矩阵表示：
外部参数与旋转和变换向量相对应， 它可以将 3D 点的坐标转换到坐标系统中。
在 3D 相关应用中，必须要先校正这些畸变。 为了找到这些参数，必须要提供一些包含明显图案模式的样本图片（比如说棋盘）。 可以在上面找到一些特殊点（如棋盘的四个角点）。 我们起到这些特殊点在图片中的位置以及它们的真是位置。 有了这些信息，就可以使用数学方法求解畸变系数。 这就是整个故事的摘要了。 为了得到更好的结果，至少需要 10 个这样的图案模式。
代码
如上所述，至少需要 10 图案模式来进行摄像机标定。
OpenCV 自带了一些棋盘图像（ /sample/cpp/left001.jpg--left14.jpg ）,
所以可以使用它们。为了便于理解，
可以认为仅有一张棋盘图像。
重要的是在进行摄像机标定时要输入一组 3D 真实世界中的点以及与它们对应 2D 图像中的点。
2D 图像的点可以在图像中很容易的找到。
（这些点在图像中的位置是棋盘上两个黑色方块相互接触的地方）
那么真实世界中的 3D 的点呢？这些图像来源与静态摄像机和棋盘不同的摆放位置和朝向。 所以需要知道（X，Y，Z）的值。 但是为了简单，可以说棋盘在 XY 平面是静止的， （所以 Z 总是等于 0）摄像机在围着棋盘移动。 这种假设只需要知道 X，Y 的值就可以了。 现在为了求 X，Y 的值， 只需要传入这些点（0,0），（1,0），（2,0）...，它们代表了点的位置。 在这个例子中，结果的单位就是棋盘（单个）方块的大小。 但是如果知道单个方块的大小（加入说 30mm）， 输入的值就可以是（0,0），（30,0），（60,0）...，结果的单位就是 mm。 （在本例中不知道方块的大小， 因为不是拍的，所以只能用前一种方法了）。
3D 点被称为对象点，2D 图像点被称为图像点。
设置
为了找到棋盘的图案，要使用函数 cv2.findChessboardCorners() 。
还需要传入图案的类型，
比如说 8x8 的格子或 5x5 的格子等。
在本例中使用的恨死 7x8 的格子。（通常情况下棋盘都是 8x8 或者 7x7）。
它会返回角点，如果得到图像的话返回值类型（Retval）就会是 True。
这些角点会按顺序排列（从左到右，从上到下）。
其他：这个函数可能不会找出所有图像中应有的图案。 所以一个好的方法是编写代码， 启动摄像机并在每一帧中检查是否有应有的图案。 在获得图案之后，要找到角点并把它们保存成一个列表。 在读取下一帧图像之前要设置一定的间隔， 这样就有足够的时间调整棋盘的方向。 继续这个过程直到得到足够多好的图案。 就算是举得这个例子， 在所有的 14 幅图像中也不知道有几幅是好的。 所以要读取每一张图像从其中找到好的能用的。
其他：除了使用棋盘之外，还可以使用环形格子，
但是要使用函数cv2.findCirclesGrid() 来找图案。
据说使用环形格子只需要很少的图像就可以了。
在找到这些角点之后，可以使用函数 cv2.cornerSubPix() 增加准确度。
使用函数 cv2.drawChessboardCorners() 绘制图案。
所有的这些步骤都被包含在下面的代码中了：
import numpy as np
import cv2
import glob
from matplotlib import pyplot as plt
# termination criteria
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)
# prepare object points, like (0,0,0), (1,0,0), (2,0,0) ....,(6,5,0)
objp = np.zeros((6*7,3), np.float32)
objp[:,:2] = np.mgrid[0:7,0:6].T.reshape(-1,2)
# Arrays to store object points and image points from all the images.
objpoints = [] # 3d point in real world space
imgpoints = [] # 2d points in image plane.
# images = glob.glob('glob.jpg')
# print(images)
fname = '/data/cvdata/left05.jpg'
# for fname in images:
img = cv2.imread(fname)
# !ls /data/cvdata
plt.imshow(img)
<matplotlib.image.AxesImage at 0x7f621eaef890>
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
# Find the chess board corners
ret, corners = cv2.findChessboardCorners(gray, (7,6),None)
# If found, add object points, image points (after refining them)
print(ret)
# if ret == True:
objpoints.append(objp)
corners2 = cv2.cornerSubPix(gray,corners,(11,11),(-1,-1),criteria)
imgpoints.append(corners2)
# Draw and display the corners
img = cv2.drawChessboardCorners(img, (7,6), corners2,ret)
#cv2.imshow('img',img)
plt.imshow(img)
#cv2.waitKey(500)
#cv2.destroyAllWindows()
False
--------------------------------------------------------------------------- error Traceback (most recent call last) Cell In[25], line 12 8 # if ret == True: 10 objpoints.append(objp) ---> 12 corners2 = cv2.cornerSubPix(gray,corners,(11,11),(-1,-1),criteria) 13 imgpoints.append(corners2) 15 # Draw and display the corners error: OpenCV(4.10.0) /home/conda/feedstock_root/build_artifacts/libopencv_1735816974604/work/modules/imgproc/src/cornersubpix.cpp:58: error: (-215:Assertion failed) count >= 0 in function 'cornerSubPix'
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1],None,None)
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1],None,None)
img = cv2.imread('glob.jpg')
h, w = img.shape[:2]
newcameramtx, roi=cv2.getOptimalNewCameraMatrix(mtx,dist,(w,h),1,(w,h))
#使用 cv2.undistort() 这是最简单的方法。只需使用这个函数和上边得到的 ROI 对结果进行裁剪。
# undistort
dst = cv2.undistort(img, mtx, dist, None, newcameramtx)
# crop the image
x,y,w,h = roi
dst = dst[y:y+h, x:x+w]
#cv2.imwrite('calibresult.png',dst)
#plt.imshow(dst)
mean_error = 0
for i in range(len(objpoints)):
imgpoints2, _ = cv2.projectPoints(objpoints[i], rvecs[i], tvecs[i], mtx, dist)
error = cv2.norm(imgpoints[i],imgpoints2, cv2.NORM_L2)/len(imgpoints2)
mean_error += error
print ("total error: ", mean_error/len(objpoints))
total error: 0.043719428774829566