本节将学习如下内容:
- 运用 kNN 算法构建基础 OCR 应用
- 使用OpenCV自带的数字和字母数据集进行实验
手写数字 OCR
需要构建一个能识别手写数字的应用程序。
为此需准备训练数据和测试数据。OpenCV自带一张 $digits.png$ 图像(路径为opencv/samples/python2/data/
),包含5000个手写数字(每个数字500个样本)。
每个数字是20x20像素的图像,处理流程如下:
第一步处理数据分割:将整图切割为5000个独立数字图像;
第二步特征提取:将每个数字图像展平为400像素的单行向量(20x20=400),形成基于像素强度的最简特征集;
第三步是数据集划分:每个数字的前250个样本作为训练数据,后250个作为测试数据。
import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt
img = cv.imread('/data/cvdata/digits.png')
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
现在我们将图像划分为5000个单元,每个单元大小为20×20像素。
cells = [np.hsplit(row,100) for row in np.vsplit(gray,50)]
将其转换为NumPy数组,其形状为(50, 100, 20, 20)。
x = np.array(cells)
现在我们准备训练数据(train_data
)和测试数据(test_data
)。
train = x[:,:50].reshape(-1,400).astype(np.float32) # Size = (2500,400)
test = x[:,50:100].reshape(-1,400).astype(np.float32) # Size = (2500,400)
为训练数据(train_data
)和测试数据(test_data
)。
k = np.arange(10)
train_labels = np.repeat(k,250)[:,np.newaxis]
test_labels = train_labels.copy()
初始化 k 近邻算法(k=1),使用训练数据进行模型构建,随后用测试数据进行验证。
knn = cv.ml.KNearest_create()
knn.train(train, cv.ml.ROW_SAMPLE, train_labels)
ret,result,neighbours,dist = knn.findNearest(test,k=5)
现在我们评估分类准确率:
具体操作:将模型预测标签与测试集真实标签(test_labels
)进行比对,识别错误分类样本。
matches = result==test_labels
correct = np.count_nonzero(matches)
accuracy = correct*100.0/result.size
print( accuracy )
91.76
至此,基础OCR应用已构建完成。当前示例的识别准确率达到91%。 提升准确率的方法之一是增加训练数据量,特别是那些容易出错的样本。 为了避免每次启动应用时重新生成训练数据,建议将数据保存为文件,下次使用时直接读取以快速启动分类任务。 可通过以下NumPy函数实现数据存储与加载:
np.savetxt
(文本格式存储)np.savez
(压缩二进制存储)np.load
(数据加载)
具体用法请参阅相关文档。
保存数据。
np.savez('xx_knn_data.npz',train=train, train_labels=train_labels)
现在加载数据。
with np.load('xx_knn_data.npz') as data:
print( data.files )
train = data['train']
train_labels = data['train_labels']
['train', 'train_labels']
在系统中,当前内存占用约为4.4MB。
由于使用像素强度值(uint8类型数据)作为特征,建议先将数据转换为np.uint8
类型再保存,
这样内存占用可降至1.1MB。加载时再将数据转换回float32
类型。
英文字母OCR
接下来将对英文字母进行相同处理,但数据和特征集有所变化。
OpenCV提供的不是图像文件,而是位于opencv/samples/cpp/
目录下的letter-recognition.data
数据文件。
该文件包含20000行数据,每行首列为字母标签,后续16个数字代表不同特征(特征提取自UCI机器学习库,具体特征说明可查阅相关页面)。
需将字母标签转换为ASCII码(原始字母格式无法直接处理) 当前数据集共包含20,000个样本,我们将前10,000个样本作为训练数据,剩余10,000个作为测试数据。 由于算法无法直接处理字母字符,需要先将字母标签转换为ASCII编码。
import cv2 as cv
import numpy as np
加载数据,转换器将字母转换为数字。
data= np.loadtxt('/data/cvdata/letter-recognition.data',
dtype= 'float32',
delimiter = ',',
converters= {0: lambda ch: ord(ch)-ord('A')})
将数据分成两部分,训练集和测试集各 10000 条。
train, test = np.vsplit(data,2)
将训练集(trainData)和测试集(testData)拆分为特征(features)和标签(responses)。
responses, trainData = np.hsplit(train,[1])
labels, testData = np.hsplit(test,[1])
初始化 kNN 模型,进行分类并评估准确率。
knn = cv.ml.KNearest_create()
knn.train(trainData, cv.ml.ROW_SAMPLE, responses)
ret, result, neighbours, dist = knn.findNearest(testData, k=5)
correct = np.count_nonzero(result == labels)
accuracy = correct*100.0/10000
print( accuracy )
93.06
当前系统识别准确率为93.22%。如需进一步提升准确率,可采用迭代方式逐层级补充错误样本数据。