一、模板匹配车牌识别简介
1 系统整体设计
车牌识别系统包括4个步骤:车牌定位 (包括识别图像中的车牌位置并将其分割) 、图像处理、字符分割与字符识别, 如图1所示。车牌定位的主要功能是从图像中可能包含车牌的候选区域中定位车牌区域;图像处理的功能是强化车牌关键特征;字符分割的功能是将车牌字符从检测到的车牌区域背景中分离出来;字符识别的功能是用已知字符识别分割得到的字符。
图1 车牌识别系统
2 车牌定位算法
车牌定位是车牌识别算法的第一步。颜色特征在定位和识别系统中起着重要作用, 车牌区域的颜色具有显著特征。采用横向扫描和纵向扫描的车牌定位算法。车牌区域的搜索有时会受车辆本身一些广告和商标等图案的干扰, 而车牌区域在图像中的位置一般比这些干扰所在的位置低。因此, 通过从下至上搜索车牌区域可有效地减少这些干扰。扫描得出的区域可能不止一个, 再根据该区域的长宽比例和蓝白色的比例, 验证是否为车牌区域。车牌区域定位和分割过程通过颜色范围定义、行列扫描的方式实现。Y方向对应行, X方向对应列, 具体过程如下:
(1) Y方向:对每一个像素进行分析, 统计满足条件的像素所在行对应的个数。找到所有蓝点较多的行, 向上追溯, 直到车牌候选区域上边界PY1;向下追溯, 直到车牌区域下边界PY2, 对车牌区域进行修正, 得到Y方向的车牌候选区域。
(2) X方向:统计满足条件的像素所在列对应的个数。找到车牌候选区域的左边界PX1和右边界PX2, 对候选区域进行修正。
(3) 同理提取其余蓝色点较多的区域, 标记为车牌候选区域, 这些区域包括了车牌区域和非车牌区域。
(4) 统计车牌候选区域中的白色像素点。
(5) 计算车牌候选区域宽度和高度之间的比率, 选择具有满足预定义约束宽高比的候选区域。根据我国小型汽车的车牌特征为蓝底白字白框线, 长宽标准为440mm*140mm, 考虑到拍摄角度及倾斜等因素, 长宽比例范围通常为1.3~3.5, 白色比例范围通常为0.12~0.5。
(6) 根据长宽比例和白色比例, 淘汰其余车牌候选区域, 实现对车牌的最终定位。
(7) 分割车牌区域。车牌定位和分割结果如图2所示, 图2 (a) 为车辆图像, 图2 (b) 为车牌分割结果。
图2 车牌定位效果3 车牌图像处理
3.1 图像灰度化
道路监控摄像机抓拍的图像一般为RGB真彩图像, 在RGB格式中, 每个像素有3个颜色分量:红, 绿, 蓝。车牌图像的每个像素由3个值确定红绿蓝分量。在RGB模型中, 当R=G=B为灰度色。灰度图像保持了强度信息而没有颜色信息。采用加权平均值法对RGB进行灰度化, 得到灰度图的亮度值。设置合理的权值能较好地突出灰度图亮度。任意一种颜色可表示为:
系数r、g、b分别为红绿蓝权值, 这里r=0.299, g=0.587, b=0.114, 能获得适合人眼观察的灰度图像, 如图3所示。
图3 灰度图像3.2 倾斜校正
在车牌识别过程中, 车牌倾斜对车牌字符分割与最终识别结果有着显著影响。由于拍摄角度、车辆状态及道路状况等原因影响, 如在抓拍中图像位置不固定, 车头或镜头出现晃动及路况较差, 都会造成牌照中的字符倾斜, 给字符的分割和识别增加难度。因此, 需对定位后的车牌进行矫正。采用Radon变换方法进行车牌图像倾斜矫正, 原理是将图像朝着各个方向投影, 然后分析投影特征, 确定车牌倾斜角度。
图4 倾斜校正3.3 图像二值化
二值图像是指整幅图像画面内仅有黑白二值的图像。灰度图像二值化不仅可大幅度减少数据运算量, 并能有效突出目标轮廓, 以便后续处理。在车牌处理中, 二值化处理是将像素点的灰度设置为0或255, 使车牌区域呈现黑白效果。对灰度图像设置合理阈值, 能够有效保持车牌形状信息。车牌区域二值化过程后, 仅保留黑白二值的数值矩阵, 每个像素取两个离散数值0或1, 0为黑色, 1为白色, 如图5所示。
图5 二值图像
f (i, j) 为原图像上的像素值, b (i, j) 为二值化后图像的像素值, T为阈值。
3.4 多余成分去除
经过图像二值化取反后, 车牌图像上可能出现一些较为明显的孤立像素点或像素块, 会对车牌的识别造成干扰。为了有效地保存目标车牌的形状、大小及特定的几何特征, 需要去除车牌图像中的多余成分。首先对二值图像取反, 求反变换使图像中感兴趣的细节更容易被注意到, 如图6所示。
图6 二值图像取反然后对图像作进一步裁剪, 使边框进一步贴近字体, 如图7所示。
图7 图像裁剪4 字符分割
经过图像处理后的车牌整体区域需要分割成单个字符区域, 以便后续识别。投影是有用且紧凑的形状描述符, 通过计算水平垂直峰分割所有字符[9]。一个二值目标的水平投影和垂直投影分别为hi (x) 和vi (y) , 可使用以下公式求得:
如图8显示一个垂直投影, 利用独立的7个峰提取7个车牌字符, 图9为字符分割结果。
图8 垂直投影7个独立峰
图9 字符分割
车牌字符分割后往往会出现大小不一的情况, 可采用基于图像缩放的归一化处理方式将字符图像进行尺寸缩放, 以得到大小统一的字符图像, 便于后续的字符识别。
5 字符识别
5.1 字符识别简述
常用的车牌字符识别方法有以下几类:
(1) 结构识别。该方法主要由识别和分析两部分构成:识别部分主要包括预处理、基元抽取和特征分析;分析部分包括基元选择与结构推理。
(2) 统计识别。该方法的目的在于确定已知样本的所属类别, 以数学的决策论为理论基础, 建立统计学识别模型。
(3) BP神经网络。该方法以神经网络模型为基础, 属于误差后向传播的神经网络, 是神经网络中使用最广泛的一类, 通过输入层、隐层和输入层三层网络的层间全互联方式运行, 具有较高的运行效率和识别准确率。
(4) 模板匹配。该方法是数字图像处理中最常用的识别方法之一, 通过建立已知模板库, 再将其应用到输入模式中, 寻找与之为最佳匹配模式的处理步骤, 得到相应识别结果, 具有很高的运行效率。
5.2 基于模板匹配的字符识别
由于车牌字符是以规范的字符为基础的, 模板匹配是以字符整体相关性为基础的, 并不强求字符整体结构的完整性。因此, 模板匹配法具有较强的容错能力, 适合有较强干扰的场合。
由于前期字符的有效分割, 这里采用简单模版匹配算法。该算法十分简单, 对图像噪声敏感性较低, 识别率较高。
模板匹配是图像识别方法中具有代表性的方法之一, 该方法首先根据已知条件建立模板库, 将分割出的车牌字符与字符模板库中的字符进行匹配运算, 图像与模板之间的匹配程度通过互相关算子确定:
Ri (x, y) 为互相关算子, F为待检测图像, Fxy为待检测的图像子图, x、y为子图左上角点在F中的坐标, T为模板, 互相关算子最大对应的模板为最佳匹配模板。字符识别流程如图10所示。
图1 0 字符识别流程
具体过程如下:
(1) 建库。建立标准化的字符模板库。如图11所示。
(2) 遍历字符模板。
(3) 比对。将分割的字符图像与模板库中的字符进行对比, 根据蓝底白字号牌的特点, 第1位字符是汉字, 分别代表各个省份, 第2位是A~Z的字母, 后5位是数字和字母的混合搭配。为提高比对过程的效率和准确性, 分别对第1位、第2位和后5位字符进行识别。
(4) 将每个字符图像的匹配结果进行保存。
(5) 输出。
二、部分源代码
function varargout = Gui_Main(varargin)
%%%%%%%%%运行这个即可打开《车牌识别系统》%%%%%%%%
%GUI_MAIN MATLAB code for Gui_Main.fig
% GUI_MAIN, by itself, creates a new GUI_MAIN or raises the existing
% singleton*.
%
% H = GUI_MAIN returns the handle to a new GUI_MAIN or the handle to
% the existing singleton*.
%
% GUI_MAIN(‘CALLBACK’,hObject,eventData,handles,…) calls the local
% function named CALLBACK in GUI_MAIN.M with the given input arguments.
%
% GUI_MAIN(‘Property’,‘Value’,…) creates a new GUI_MAIN or raises the
% existing singleton*. Starting from the left, property value pairs are
% applied to the GUI before Gui_Main_OpeningFcn gets called. An
% unrecognized property name or invalid value makes property application
% stop. All inputs are passed to Gui_Main_OpeningFcn via varargin.
%
% *See GUI Options on GUIDE’s Tools menu. Choose “GUI allows only one
% instance to run (singleton)”.
%
% See also: GUIDE, GUIDATA, GUIHANDLES% Edit the above text to modify the response to help Gui_Main
% Last Modified by GUIDE v2.5 27-May-2022 18:45:00
% Begin initialization code - DO NOT EDIT
gui_Singleton = 1;
gui_State = struct(‘gui_Name’, mfilename, …
‘gui_Singleton’, gui_Singleton, …
‘gui_OpeningFcn’, @Gui_Main_OpeningFcn, …
‘gui_OutputFcn’, @Gui_Main_OutputFcn, …
‘gui_LayoutFcn’, [] , …
‘gui_Callback’, []);
if nargin && ischar(varargin{1})
gui_State.gui_Callback = str2func(varargin{1});
endif nargout
[varargout{1:nargout}] = gui_mainfcn(gui_State, varargin{:});
else
gui_mainfcn(gui_State, varargin{:});
end
% End initialization code - DO NOT EDIT% — Executes just before Gui_Main is made visible.
function Gui_Main_OpeningFcn(hObject, eventdata, handles, varargin)
% This function has no output args, see OutputFcn.
% hObject handle to figure
% eventdata reserved - to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)
% varargin command line arguments to Gui_Main (see VARARGIN)% Choose default command line output for Gui_Main
clc;
axes(handles.axes1); cla reset; box on; set(gca, ‘XTickLabel’, [], ‘YTickLabel’, []);
axes(handles.axes2); cla reset; box on; set(gca, ‘XTickLabel’, [], ‘YTickLabel’, []);
axes(handles.axes3); cla reset; box on; set(gca, ‘XTickLabel’, [], ‘YTickLabel’, []);
axes(handles.axes4); cla reset; box on; set(gca, ‘XTickLabel’, [], ‘YTickLabel’, []);
set(handles.text1, ‘string’, ‘’);
handles.output = hObject;
handles.file = [];
handles.Plate = [];
handles.bw = [];
handles.words = [];
% Update handles structure
handles.type=1;%打开时,默认识别蓝色车牌
guidata(hObject, handles);% UIWAIT makes Gui_Main wait for user response (see UIRESUME)
% uiwait(handles.figure1);% — Outputs from this function are returned to the command line.
function varargout = Gui_Main_OutputFcn(hObject, eventdata, handles)
% varargout cell array for returning output args (see VARARGOUT);
% hObject handle to figure
% eventdata reserved - to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)% Get default command line output from handles structure
varargout{1} = handles.output;% --------------------------------------------------------------------
%工具栏:Save Figure
function uipushtool1_ClickedCallback(hObject, eventdata, handles)
% hObject handle to uipushtool1 (see GCBO)
% eventdata reserved - to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)
[filename, pathname] = uiputfile({’.jpg;.tif;.png;.gif’,‘All Image Files’;…
‘.’,‘All Files’ }, ‘保存结果’, …
‘Result\result.jpg’);
if isempty(filename)
return;
end
file = fullfile(pathname, filename);
f = getframe(gcf);
f = frame2im(f);
imwrite(f, file);
msgbox(‘保存结果图像成功！’, ‘提示信息’, ‘help’);
三、运行结果
四、matlab版本及参考文献
1 matlab版本
2014a
2 参考文献
[1] 张俊峰,尚振宏,刘辉.基于颜色特征与模板匹配的车牌识别系统设计与实现[J].软件导刊. 2018,17(01)
