最近看了很多大场景点云分割的论文,它们使用的都是RS采样的方法,随机采样导致最关键的一个问题就是采样的点比较多,而且会导致一些地方的点特征丢失的情况,今天给大家介绍一篇2019年CVPR的文章,PointWeb。自从PointNet开发出来,在点云分割上学习点与点之间的关系(邻域局部特征)成为了一个必然的研究方向,不论是对于Semantic3D还是S3DIS数据集来说,对于大场景点云分割算法还是其他算法来说,都是这个研究方向,学习完特征之后,聚合特征,然后在利用各种方法还原点的特征(还原点的尺度),完成细致的分割任务。

PointWeb其实可以参考PointNet++和DGCNN,前者是利用set absraction去学习邻域局部特征,后者是利用中心点和邻域点的关系学习邻域特征。PointWeb的话有点像增强的DGCNN,它学习不仅仅是中心点和邻域点的关系,还学习了邻域点之间的相互关系,形成一个局部链接的完全网络。

点云目标检测 和点云分割的区别 点云分割综述_权重


PointWeb学习邻域的模块称之为AFA模块,这部分主要是对特征进行一下增强,增强后的特征为:

点云目标检测 和点云分割的区别 点云分割综述_权重_02


对于△Fi是学习的特征,是通过特征调制器,以Fi为输入进行学习的,它由fimp和frel构成,前者是点之前的影响权重,后者是点之间的关系,简单理解就是权重和特征。

点云目标检测 和点云分割的区别 点云分割综述_权重_03


fimp模块的意思是Fj对Fi的影响权重,它构造权重的关系上选择的是特征的减法,后续有消融实验验证哪种关系最好。其中g(Fi,Fj)=Fi-Fj。

点云目标检测 和点云分割的区别 点云分割综述_点云目标检测 和点云分割的区别_04


frel简单来说直接可以是Fj,但是建模上利用下述公式:

点云目标检测 和点云分割的区别 点云分割综述_邻域_05


整体的AFA模块的总输出为(与网络模块对应):

点云目标检测 和点云分割的区别 点云分割综述_计算机视觉_06


点云目标检测 和点云分割的区别 点云分割综述_计算机视觉_07


点云目标检测 和点云分割的区别 点云分割综述_权重_08


PointWeb的网络结构和其他算法都是类似,编码层进行点云特征的聚合,降点点云的尺度,然后解码层在还原点的特征,完成分割任务。

点云目标检测 和点云分割的区别 点云分割综述_权重_09


对于PointWeb的实验部分大家可以自己看论文,对于消融实验来说,他针对加法、减法、拼接、不拼接组成的权重进行了消融实验,发现减法构出的是最好的结果。

点云目标检测 和点云分割的区别 点云分割综述_邻域_10