Ŀ¼
在图像分割领域，一个重要任务便是分割出感兴趣(ROI)区域。如果是简易的矩形ROI区域其实是非常容易分割的，opencv的官方python教程里也有教到最简易的矩形ROI分割(剪裁)，其本质是多维数组(矩阵)的切片。但是现实情况中，ROI是不规则的多边形，也可能是曲线边界，那么该如何分割出来呢？下面总结几种思路。
可能只提供核心部分的代码示例，具体应用要结合你自己的项目来修正。
一、已知边界坐标，直接画出多边形
例：最基础的画个四边形 # 定义四个顶点坐标 pts = np.array([[10, 5], [50, 10], [70, 20], [20, 30]], np.int32) # 顶点个数：4，矩阵变成4*1*2维 # OpenCV中需要将多边形的顶点坐标变成顶点数×1×2维的矩阵 # 这里 reshape 的第一个参数为-1, 表示“任意”，意思是这一维的值是根据后面的维度的计算出来的 pts = pts.reshape((-1, 1, 2)) cv2.polylines(img, [pts], True, (0, 255, 255))
上例中，img是你的画布原图。pts你可以随便改，改成自己的边界点。注意cv2.polylines中参数pts要加[ ]。
二、通过形态学操作产生Mask
腐蚀、膨胀之后，产生二值化(非黑即白)的mask，然后和图像做与运算。
腐蚀膨胀的操作方法简单复习一下： kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (10, 10)) # 矩形结构:MORPH_RECT kernel1 = cv2.getStructuringElement(cv2.MORPH_RECT, (15, 15)) # 椭圆结构:MORPH_ELLIPSE img = cv2.erode(img, kernel) # 腐蚀 img = cv2.dilate(img, kernel) # 膨胀
我们都知道，腐蚀膨胀完后会得到一个二值化的掩模(mask)。 mask = cv2.cvtColor(img, cv2.COLOR_GRAY2BGR) #img是腐蚀膨胀完的图片 ROI = cv2.bitwise_and(mask, oriimg) #oriimg是原始图片 cv2.imshow('ROI',ROI) if cv2.waitKey(500) and 0xff == ord('q'): cv2.destroyAllWindows()
三、人机交互式
用鼠标点击，产生多边形。
这样是比较精确的，比较是人工操作，但是比较麻烦，如果有上万张图片，你不可能每张都自己鼠标去分割出来一下。但是这个方法可以用于获取ROI的ground-truth，然后用来和机器分割的结果做对比，计算准确率、召回率等评价指标！所以学一下还是有用的。 # -*- coding: utf-8 -*- ''' ''' import cv2 import numpy as np # -----------------------鼠标操作相关------------------------------------------ lsPointsChoose = [] tpPointsChoose = [] pointsCount = 0 count = 0 pointsMax = 6 def on_mouse(event, x, y, flags, param): global img, point1, point2, count, pointsMax global lsPointsChoose, tpPointsChoose # 存入选择的点 global pointsCount # 对鼠标按下的点计数 global img2, ROI_bymouse_flag img2 = img.copy() # 此行代码保证每次都重新再原图画 避免画多了 # ----------------------------------------------------------- # count=count+1 # print("callback_count",count) # -------------------------------------------------------------- if event == cv2.EVENT_LBUTTONDOWN: # 左键点击 pointsCount = pointsCount + 1 # 感觉这里没有用？2018年8月25日20:06:42 # 为了保存绘制的区域，画的点稍晚清零 # if (pointsCount == pointsMax + 1): # pointsCount = 0 # tpPointsChoose = [] print('pointsCount:', pointsCount) point1 = (x, y) print (x, y) # 画出点击的点 cv2.circle(img2, point1, 10, (0, 255, 0), 2) # 将选取的点保存到list列表里 lsPointsChoose.append([x, y]) # 用于转化为darry 提取多边形ROI tpPointsChoose.append((x, y)) # 用于画点 # ---------------------------------------------------------------------- # 将鼠标选的点用直线连起来 print(len(tpPointsChoose)) for i in range(len(tpPointsChoose) - 1): print('i', i) cv2.line(img2, tpPointsChoose[i], tpPointsChoose[i + 1], (0, 0, 255), 2) # ---------------------------------------------------------------------- # ----------点击到pointMax时可以提取去绘图---------------- if (pointsCount == pointsMax): # -----------绘制感兴趣区域----------- ROI_byMouse() ROI_bymouse_flag = 1 lsPointsChoose = [] cv2.imshow('src', img2) # -------------------------右键按下清除轨迹----------------------------- if event == cv2.EVENT_RBUTTONDOWN: # 右键点击 print("right-mouse") pointsCount = 0 tpPointsChoose = [] lsPointsChoose = [] print(len(tpPointsChoose)) for i in range(len(tpPointsChoose) - 1): print('i', i) cv2.line(img2, tpPointsChoose[i], tpPointsChoose[i + 1], (0, 0, 255), 2) cv2.imshow('src', img2) def ROI_byMouse(): global src, ROI, ROI_flag, mask2 mask = np.zeros(img.shape, np.uint8) pts = np.array([lsPointsChoose], np.int32) # pts是多边形的顶点列表(顶点集) pts = pts.reshape((-1, 1, 2)) # 这里 reshape 的第一个参数为-1, 表明这一维的长度是根据后面的维度的计算出来的。 # OpenCV中需要先将多边形的顶点坐标变成顶点数×1×2维的矩阵，再来绘制 # --------------画多边形--------------------- mask = cv2.polylines(mask, [pts], True, (255, 255, 255)) ##-------------填充多边形--------------------- mask2 = cv2.fillPoly(mask, [pts], (255, 255, 255)) cv2.imshow('mask', mask2) cv2.imwrite('mask.bmp', mask2) ROI = cv2.bitwise_and(mask2, img) cv2.imwrite('ROI.bmp', ROI) cv2.imshow('ROI', ROI) img = cv2.imread('img0.jpg') # --------------------------------------------------------- # --图像预处理，设置其大小 # height, width = img.shape[:2] # size = (int(width * 0.3), int(height * 0.3)) # img = cv2.resize(img, size, interpolation=cv2.INTER_AREA) # ------------------------------------------------------------ ROI = img.copy() cv2.namedWindow('src') cv2.setMouseCallback('src', on_mouse) cv2.imshow('src', img) cv2.waitKey(0) cv2.destroyAllWindows()
