也是几个月前的项目了,由于手头事儿多,也已经转交给别的同事去继续优化。本博客仅做个简单的记录用。

java使用ocr识别图片处理技术使用中文_github

这里是 Tesseract(LSTM)、CTPN+CRNN、Densenet三个方法测试结果对比(结果不是最优,代码也经过优化):

PS:官方Tesseract-4.0需要Ubuntu-18.04支持,本人在Ubuntu-16.04上编译安装成功。

 

(一)Tesseract(LSTM)和Densenet

(此结果算法未经优化)

总结放前面:

  • Tesseract实现的ORC识别(可以实现衣服吊牌文字识别,对于服装彩色背景图有些牵强,对图片进行反转之后可识别,但背景颜色不是单一色调的识别不出--这跟图片像素也有很大区别,300dpi+的图片识别度更高)
  • Densenet实现的ORC识别(衣服吊牌等复杂场景识别度低,对于服装彩色背景图效果却比Tesseract好)
  • 上两种办法的解决方案之一可尝试Tesseract识别不出的图片块让Densenet来识别

原图+服装box:

(采用目标检测的方法识别与定位服装,算法:Faster-RCNN)

java使用ocr识别图片处理技术使用中文_github_02

ORC box:

(裤腿的logo已去除)

java使用ocr识别图片处理技术使用中文_背景图_03

java使用ocr识别图片处理技术使用中文_背景图_04

(这是去除掉的错误的识别)

识别效果:

(按行识别,可以取到每行字的bbox,这里省略)

java使用ocr识别图片处理技术使用中文_Ubuntu_05

Tesseract识别不出文字的区域(背景为多颜色的区域):

1.

java使用ocr识别图片处理技术使用中文_背景图_06

2.

java使用ocr识别图片处理技术使用中文_Ubuntu_07

3.

java使用ocr识别图片处理技术使用中文_Ubuntu_08

4.

java使用ocr识别图片处理技术使用中文_Ubuntu_09

将图片进行色调翻转之后:

java使用ocr识别图片处理技术使用中文_背景图_10

Tesseract可识别出,Densenet识别不出:

java使用ocr识别图片处理技术使用中文_背景图_11

色调翻转之后:

java使用ocr识别图片处理技术使用中文_Ubuntu_12

Densenet可识别出,Tesseract识别不出:

java使用ocr识别图片处理技术使用中文_github_13

色调翻转之后:

java使用ocr识别图片处理技术使用中文_背景图_14

Densenet可识别出,Tesseract识别不出:

java使用ocr识别图片处理技术使用中文_背景图_15

色调翻转之后:

java使用ocr识别图片处理技术使用中文_背景图_16

Densenet可识别出,Tesseract识别不出:

java使用ocr识别图片处理技术使用中文_背景图_17

 

 

(二)CTPN+CRNN:CHINESE-OCR 和 Tesseract(LSTM)

代码地址:https://github.com/xiaofengShi

总结:就不写了... 看结果吧

代码提供了keras和pytorch两个版本的CRNN中文识别模型,经测试,pytorch版本效果要好一些。

  • 1)输入测试图像: 

java使用ocr识别图片处理技术使用中文_背景图_18

java使用ocr识别图片处理技术使用中文_Ubuntu_19

CTPN+CRNN文本识别结果(输入的是裁剪标签部分后的图像,以下同理):

java使用ocr识别图片处理技术使用中文_Ubuntu_20

基于tesseract识别结果(有预处理,以下同理):

java使用ocr识别图片处理技术使用中文_背景图_21

  • 2)输入测试图像:

 

java使用ocr识别图片处理技术使用中文_背景图_22

CTPN+CRNN:

java使用ocr识别图片处理技术使用中文_Ubuntu_23

基于tesseract识别结果:

java使用ocr识别图片处理技术使用中文_github_24

  • 3)输入测试图像:

java使用ocr识别图片处理技术使用中文_背景图_25

CTPN+CRNN:

java使用ocr识别图片处理技术使用中文_github_26

基于tesseract识别结果:

java使用ocr识别图片处理技术使用中文_github_27

  •   4)输入测试图像:

java使用ocr识别图片处理技术使用中文_Ubuntu_28

CTPN+CRNN:

java使用ocr识别图片处理技术使用中文_github_29

基于tesseract识别结果:

java使用ocr识别图片处理技术使用中文_背景图_30

                                                                                             

最后,加个openCV里好玩的

opencv mser算法框出图片文字区域

java使用ocr识别图片处理技术使用中文_github_31

                           

'''
opencv mser算法框出图片文字区域
'''
from PIL import Image
import numpy as np
import cv2
import matplotlib.pyplot as plt

img = cv2.imread('/home/raini/pro/LogoDetector/SIFT/PRI_Roche/Python_OpenCV/test_img/daa59b642f6a60e2995be13f495a7c45.jpg')
mser = cv2.MSER_create(_min_area=300)

gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
regions, boxes = mser.detectRegions(gray)

for box in boxes:
    x, y, w, h = box
    cv2.rectangle(img, (x,y),(x+w, y+h), (255, 0, 0), 2)

plt.imshow(img,'brg')
plt.show()