也是几个月前的项目了,由于手头事儿多,也已经转交给别的同事去继续优化。本博客仅做个简单的记录用。
这里是 Tesseract(LSTM)、CTPN+CRNN、Densenet三个方法测试结果对比(结果不是最优,代码也经过优化):
PS:官方Tesseract-4.0需要Ubuntu-18.04支持,本人在Ubuntu-16.04上编译安装成功。
(一)Tesseract(LSTM)和Densenet
(此结果算法未经优化)
总结放前面:
- Tesseract实现的ORC识别(可以实现衣服吊牌文字识别,对于服装彩色背景图有些牵强,对图片进行反转之后可识别,但背景颜色不是单一色调的识别不出--这跟图片像素也有很大区别,300dpi+的图片识别度更高)
- Densenet实现的ORC识别(衣服吊牌等复杂场景识别度低,对于服装彩色背景图效果却比Tesseract好)
- 上两种办法的解决方案之一可尝试Tesseract识别不出的图片块让Densenet来识别
原图+服装box:
(采用目标检测的方法识别与定位服装,算法:Faster-RCNN)
ORC box:
(裤腿的logo已去除)
(这是去除掉的错误的识别)
识别效果:
(按行识别,可以取到每行字的bbox,这里省略)
Tesseract识别不出文字的区域(背景为多颜色的区域):
1.
2.
3.
4.
将图片进行色调翻转之后:
Tesseract可识别出,Densenet识别不出:
色调翻转之后:
Densenet可识别出,Tesseract识别不出:
色调翻转之后:
Densenet可识别出,Tesseract识别不出:
色调翻转之后:
Densenet可识别出,Tesseract识别不出:
(二)CTPN+CRNN:CHINESE-OCR 和 Tesseract(LSTM)
代码地址:https://github.com/xiaofengShi
总结:就不写了... 看结果吧
代码提供了keras和pytorch两个版本的CRNN中文识别模型,经测试,pytorch版本效果要好一些。
- 1)输入测试图像:
CTPN+CRNN文本识别结果(输入的是裁剪标签部分后的图像,以下同理):
基于tesseract识别结果(有预处理,以下同理):
- 2)输入测试图像:
CTPN+CRNN:
基于tesseract识别结果:
- 3)输入测试图像:
CTPN+CRNN:
基于tesseract识别结果:
- 4)输入测试图像:
CTPN+CRNN:
基于tesseract识别结果:
最后,加个openCV里好玩的
opencv mser算法框出图片文字区域
'''
opencv mser算法框出图片文字区域
'''
from PIL import Image
import numpy as np
import cv2
import matplotlib.pyplot as plt
img = cv2.imread('/home/raini/pro/LogoDetector/SIFT/PRI_Roche/Python_OpenCV/test_img/daa59b642f6a60e2995be13f495a7c45.jpg')
mser = cv2.MSER_create(_min_area=300)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
regions, boxes = mser.detectRegions(gray)
for box in boxes:
x, y, w, h = box
cv2.rectangle(img, (x,y),(x+w, y+h), (255, 0, 0), 2)
plt.imshow(img,'brg')
plt.show()