Boundary IoU论文简读_错误类型
论文:​​​https://arxiv.org/pdf/2103.16562.pdf​

源码链接:​​https://github.com/bowenc0221/boundary-iou-api​


文章目录

动机

近年来,随着深度学习技术的进一步发展,实例分割算法的性能越来越优秀。实例分割算法的进步体现在AP指标的不断提升,但是这不等同于优化的算法对所有的“错误类型”都有改善。

算法的优化一般是以增加评测指标值为目的,如果AP指标对某种错误类型敏感,那么基于该指标优化的算法能很好地解决该种错误类型;反之,如果AP指标对某种错误类型不敏感,那么即使改善算法使得AP指标提升,也未必会很好地改善该错误类型。

在分割领域中,mask边界的分割质量是衡量算法能否落地的一个重要参考指标。作者认为,当前通用的以Mask IoU为基础的AP指标对于mask边界的分割质量不敏感,导致近年来不断优化的分割算法并没有明显改善mask边界的分割质量。

基于以上情况,作者提出了Boundary IoU,使用Boundary IoU代替Mask IoU,能够很好地衡量分割边界的质量好坏,如下图所示:
Boundary IoU论文简读_深度学习_02
相比于BMask R-CNN和PointRend这2种方法,Mask R-CNN在物体边界的分割质量比较差,但是使用Mask IoU衡量这3种方法的分割质量,Mask IoU指标并未拉开太大的差距。相比之下,作者提出的Boundary IoU对物体边界的分割质量很敏感,能够很好地评价不同的分割算法对于物体边界的分割质量。

定义分割错误类别

为了更好地比较通用的Mask IoU、基于边界的Trimap IoU和F-Measure和作者提出的Boundary IoU对不同错误类型的敏感程度,这里首先定义几种错误类型及其错误程度。对于每种错误类型,会在ground truth mask的基础上“人为地”创造出预测mask,以便于比较不同的测量方法对不同类型分割错误的敏感程度。

(1)Scale error:对ground truth进行膨胀和腐蚀模拟预测mask,错误程度通过形态学操作的kernel radius决定。如下图中图(a)和图(b)所示。

(2)Boundary localization error:对ground truth的多边形边界顶点坐标添加高斯噪声模拟预测mask,错误程度由高斯噪声的标准差决定。如下图中图(c)所示。

(3)Object localization error:对ground truth mask进行偏移操作模拟预测mask,错误程度由像素的偏移量决定。如下图中图(d)所示。

(4)Boundary approximation error:使用《Shapely: manipulation and analysis of geometric objects》中提出的的simplify函数移除ground truth mask的多边形顶点以简化mask的多边形,模拟预测mask,错误程度由simplify函数中的error tolerance参数决定。如下图中图(e)所示。

(5)Inner mask error:在ground truth mask内部增加形状随机的空洞来模拟预测mask,错误程度由空洞数量决定。如下图中图(f)所示

Boundary IoU论文简读_错误类别_03