Indoor 3D Point Cloud Segmentation Based on Multi‐Constraint Graph Clustering
基于多约束图聚类的室内三维点云分割技术
摘要
室内场景点云的分割在三维重建和场景分类中起着至关重要的作用。本文提出了一种用于室内场景分割的多约束图聚类方法（MCGC）。MCGC方法考虑了多约束条件，包括提取的结构平面、局部表面凸度和物体的颜色信息，用于室内分割。首先，原始点云被划分为表面斑块，我们提出了一种稳健的平面外牵引方法来提取室内场景的主要结构平面。然后，通过全局能量优化实现表面斑块和结构平面之间的匹配。接下来，我们紧密结合上述的多种约束条件，设计了一种图聚类算法，将杂乱的室内场景划分为物体部分。最后，我们提出了一个后精简步骤来过滤异常值。我们在一个基准的RGB-D数据集和一个真实的室内激光扫描数据集上进行了大量的定性和定量评估实验，其结果验证了MCGC方法的有效性。与最先进的方法相比，MCGC可以更有效地处理室内场景的分割，并还原更多的室内结构的细节。实验结果的分割精度和分割召回率平均达到70%。此外，MCGC方法的一大优势是处理点云的速度非常快；对100万个点的场景数据进行分割大约需要1.38秒。它大大减少了场景点云数据的计算开销，实现了实时场景分割。
1. 引言
随着三维点云采集技术的发展，从点云中自动和有效地分割室内场景在多个领域都有潜在的应用，包括室内重建[1,2]、机器人定位[3]、物体识别[4,5]和建筑信息模型重建[6,7]。作为数据处理中分类和重建应用的必要前提，三维场景分割的结果直接影响到点云产品的质量。
经过几十年的发展，大量的点云分割工作已经进行，针对不同的传感器平台和应用有不同的解决方案。传统的点云分割（PCS）方法主要是无监督的方法，根据几何约束和统计规则，基于严格的手工特征对点云进行分割，包括基于区域生长的方法、基于模型拟合的方法、基于图形的方法和基于监督像素的方法。此外，流行的有监督的点云分割方法最近也引起了极大的关注。这些基于深度学习的方法借助于复杂的概率图形模型来编码不同物体和几何特征的完整上下文关系。以下是对无监督PCS方法和基于深度学习的方法的详细回顾。
基于区域生长的PCS方法是指在某些原则的驱动下，将点群发展成更大的区域。从随机选择的种子点开始，区域增长是通过合并具有类似几何属性的邻近点来实现的。通常情况下，欧氏距离和法向量被用作制定区域生长算法的标准因素。Fan等人[8]提出了一种自适应分割算法，根据前述的特征自动选择种子点。Wu等人[9]提出了一种多尺度张量投票算法来确定区域生长方法的种子点。Ali等人[10]提出了一种只检查局部曲率的非序列区域生长方法。
基于模型拟合的PCS方法通过基元检测将点云与几何模型相匹配，在处理包含参数化几何模型的三维场景时，可以被视为一种分割方法。RANSAC算法是基于模型拟合方法中最著名的方法之一，它可以对广泛的模型进行分类，包括平面和非平面的几何形状（如平面、圆柱体和球体），为分割弯曲的室内物体提供了一种有用的方法。RANSAC已经在一些作品中被扩展用于PCS。Schnabel等人[11]扩展了RANSAC方法，以适应无组织的点云中的基本几何模型。Li等人[12]对RANSAC方法进行了改进，以避免三维点云平面分离的虚假平面。Xu等人[13]采用混合投票RANSAC算法将点云分离成相应的段。
基于图的PCS方法受到二维图像领域的启发[14-17]；许多研究已经在PCS中使用了类似的方法，并在各种数据集中获得了成功。在图中，每个点由一个节点表示，每个节点都有一条边，从它与其他节点共享的邻居处延伸出来。Golovinskiy等人[18]提出了一种PCS技术，使用min-cut[19]在一个由k-nearest neighboring points构建的图上检测室外城市物体。Yan等人[20]采用了一种扩展的α-扩展方法[21]来最小化能量函数，以完成屋顶分割的目标。Yang等人[22]通过使用欧氏距离和传感器位置的角度作为分割标准，提出了一个两层图结构，以区分相互靠近的不同物体。Xu等人[23]提出了一种使用概率模型的基于体素的图，用于建筑结构的分割。
基于体素的PCS方法旨在减少计算开销和噪声的不利影响。在采用昂贵的计算方法之前，将原始点云划分成小块是标准程序。体素可以被看作是最基本的过度分割结构。与二维的超级像素类似，超级像素是基于某些属性的类似体素的微小群体。对点云进行过度分割的标准方法是体素云连接分割（VCCS）[24]。在这种方法中，点云使用八叉树进行体素化。然后使用K-means聚类方法来实现超体素分割。Lin等人[25]开发了一种监督像素分割方法，该方法使用局部信息来解决子集选择问题，可以产生具有适应性分辨率的监督像素，而不是选择种子点。Li等人[26]提出了一种改进的基于图的多分辨率超体素分割算法，用于超体素聚类。
近年来，基于深度学习的方法变得越来越流行。基于深度学习的点云分割可以分为两个任务，即语义分割和实例分割。给定一个点云，语义分割的目标是根据点的语义将其分成几个子集。作为一项开创性的工作，PointNet[27]直接处理输入的点集，使用一个对称函数来实现包络不变性。为了处理PointNet只是单独捕捉每个点的特征而不考虑局部几何关联的问题，PointNet++[28]提出了一个分层网络，通过使用迭代采样策略，逐层从局部几何结构中学习特征。此外，在二维图像分割领域取得巨大成功的图卷积[29-32]被引入到三维点云中，以捕捉三维点云的几何结构和基本形状[33-36]。Wang等人[37]提出动态图CNN（DGCNN）来克服PointNet++中局部特征缺失的问题。Wang等人[38]设计了一个图注意卷积（GAC）来捕捉点云的结构特征，同时使内核能够动态地适应物体的结构。实例分割比语义分割更具挑战性，因为它不仅要区分具有不同语义标签的点，而且还要区分具有相同语义标签的实例。作为一项开创性的研究，Wang等人[39]提出了相似性组建议网络（SGNN）来学习点状特征和语义图。Chen等人[40]提出了一种用于实例标签预测的可学习区域增长方法。Yang等人[41]提出了一个单阶段的3D-BoNet网络，直接为潜在的实例回归粗糙的3D边界框，然后用一个点级二进制分类器来获得实例标签。在本文中，我们的任务既不是语义分割，也不是实例分割，而是基于无监督的几何算法，将室内场景划分为物体和有意义的物体部分。
将场景分割成基本的物体部分有利于解决场景的理解[42,43]、建筑信息模型[23,44]和现代SLAM系统[45,46]。更为紧凑的是，这个过程揭示了物体各部分的边界，并且一个片段中的点的统一性产生了新的顶层几何特征，这提供了精细的、部分层面的场景理解[47]。此外，将三维场景的三维点云分割成有意义的片段，可以有利于重建建成后的BIM[44]，如工作进度跟踪和提高生产率。利用分割后的点云的精细结构，工程师和工人可以获得项目的实际变化和进展[23]。此外，提取和保存有意义的物体部分可以建立有意义的地图，供自主机器人在环境中互动[45]。用有意义的实体表示地图，并尽可能多地提供细节，是为机器人操纵重建室内场景的三维几何地图的关键步骤[46]。
尽管如上所述，无监督的PCS工作取得了令人满意的进展，但它们仍然有局限性。目前的PCS方法主要集中在大尺度的平面结构，而忽略了室内物体的局部细节结构，如基于RG的方法。基于区域生长的方法被广泛用于检测具有小法线差异的平面；因此，它们通常被用于平面分割。然而，它们对具有弯曲形状的室内物体的分割结果并不令人满意，而且对噪声、遮挡和不同程度的点密度都很敏感。与室外场景相比，平面检测可以有效地用于分割场景的三维点云[44,48,49]，复杂的室内场景由不规则形状的物体组成，具有很高的细节水平，导致这些室外分割方法无法分割整个室内场景。此外，直接拟合规则形状的模型（如基于模型拟合的方法）将导致模型不匹配[50]和缺乏细节结构。
因此，对于杂乱的室内场景，在对室内物体（如椅子和杂物）进行分割之前，有必要提取场景的主要平面结构（如墙壁、地板和天花板）。准确地提取具有大面积的主要平面结构，有利于随后对具有复杂形状的小型室内物体进行分割。它可以消除以往工作中只关注平面分割或局部几何特征而造成的场景分割错误。在我们提出的MCGC中，我们可以通过多约束图聚类方法，分别采用不同的约束条件，根据不同的几何特性对室内物品进行分割，以预先消除单一约束条件对具有不同几何特性的室内物品造成的分割误差。
此外，现有的PCS算法仍然面临着低质量的点云与高水平的噪声和异常值的问题。基于局部表面凸性[51]的方法的法线估计可能不准确，导致不正确的凸或凹的分类。为了改善这个问题，我们设计了一个后精化步骤，以过滤掉有噪声的表面斑块。此外，大多数现有的方法都是基于点的层次，而室内场景中的点的数量可能会随着复杂度和完整性的增加而达到几百万。场景点云数据量的增加将大大增加基于点的场景分割的执行时间和计算开销，使这些方法的计算成本很高。在这方面，MCGC方法是基于supervoxel单元的，它提高了处理大型点云场景的时间效率。本文的主要贡献如下。
1. 基于多约束条件的图聚类的MCGC方法有效地利用了室内主要结构平面、局部表面凸度和点云的颜色信息，将室内场景划分为物体部分。这样，我们不仅可以完全分割大规模的结构平面，还可以利用室内物体的局部细节进行高效分割。
2. 我们提出了一系列基于室内场景先验知识的启发式规则来提取水平结构平面，并通过全局能量优化实现表面斑块与结构平面的匹配。这个过程提高了分割方法对噪声、异常值和杂波的鲁棒性。
3. 我们设计了一个后精简程序，将边界处噪声点云的不准确法线估计所产生的过度分割段合并到其相邻段中，并过滤掉异常值，提高了分割的准确性。
这几章的内容安排如下。第2节详细解释了MCGC方法。然后，我们的算法在几个实验研究中用两个真实的室内场景基准数据集进行了验证，并在第3节进行了分析。与最先进的分离算法相比，第4节进一步讨论了MCGC的有效性。最后，第5节介绍了本研究的结论。
2. 材料和方法
我们提出了一种具有连续工作流程的MCGC方法，包括表面补丁的生成（第2.1节），稳健的结构面提取（第2.2节），补丁到平面的排列（第2.3节），使用多约束条件的图形聚类（第2.4节）和后置精简（第2.5节）。图1展示了我们的室内分割方法的说明。首先，MCGC将图1(I)中描述的原始点云分割成图1(II)中所示的表面斑块组。然后，我们提出了一个强大的结构面提取算法，以有效地从完整的室内场景中提取结构面，如图1（III）所示。接下来，通过全局能量优化实现表面斑块与结构平面和物体的匹配，并提出了具有多约束条件的图聚类算法，将整个室内场景的表面斑块分割成物体，如图1（IV,V）所示。最后，通过后精化步骤进一步精化场景分割结果，以过滤异常值，如图1（VI）所示。
2.1. 表面补丁生成
由于室内场景的点云数量达到几百万，我们用一组表面补丁来表达原始点云，以减少计算成本。我们采用体素云连接性分割方法（VCCS）[24]，将场景点云过度分割成表面补丁。使用一组小的监督像素来表示包含数百万个点的室内场景数据，大大降低了计算成本以及离群值和密度变化的影响。这种方法不跨越物体边界，将三维场景点云划分为符合目标物体边界的语义区域。当地的基本特征（点云坐标位置、法线信息、颜色信息等）被用来对点云进行聚类，形成监督体。使用VCCS方法，原始点云被划分为一个补丁集合，包含一个中心点，一个法向量，和一个曲率。同时，在补丁上构建的邻接图V为后续分割步骤产生。是连接相邻斑块的边组。
2.2. 健全的结构平面提取
在复杂的室内场景中，占据最大面积的室内物品是主要的结构平面，如天花板、墙壁和地板。检测这些具有大面积和小曲率的平面将提高后续对小门内物体分割的准确性。大多数已知的检测点云场景中的平面基元的方法要么计算昂贵，要么对噪音敏感。受文章[52]的启发，我们提出了一种基于统计分析理论的鲁棒性结构平面提取算法，它可以有效地从噪声点云中准确快速地提取平面结构。健壮的结构平面提取包括两个步骤：场景平面检测和结构平面提取。
2.2.1. 场景平面检测
由于场景点云中的噪声分布不均匀，检测平面结构的准确性会受到异常值的干扰。此外，大多数可用的技术[12,53,54]对不同的数据集使用调整过的参数，这在计算上很昂贵。Araújo[52]使用鲁棒统计学开发了一种无组织点云中的快速平面检测方法（RSPD），该方法对噪声不敏感，且不受参数调整的影响。受RSPD的启发，我们在室内场景中采用这种平面检测技术来检测场景平面。
根据鲁棒统计学的理论分析，均值估计器的击穿点为0%，而中值估计器的击穿点为50%，这需要超过50%的离群值来干扰它。因此，中位数估计器被认为是平均数估计器的可靠替代品。基于这一理论，中值绝对偏差在RSPD中被用来引入一个稳健的平面性测试，以取代传统的主成分分析（PCA）来检测补丁的平面性。与最流行的平面检测方法（包括基于RANSAC[11,12]、Hough变换[54]和区域生长[53,55]的方法）相比，我们采用的平面检测方法对噪声不那么敏感。大多数基于PCA的常用技术都突出了其对噪声水平的依赖性和对参数调整的需求，然而，使用稳健的平面性测试来检测场景平面可以克服这些既耗时又对噪声敏感的问题。实验研究表明，该方法可以有效地检测出大型室内场景数据集中的所有现有平面，并具有高水平的噪声和异常值。
结构平面提取
在场景平面检测之后，我们将根据室内场景的先验知识来提取室内结构平面。考虑到室内场景中结构物体分布的丰富先验知识，我们设计了一系列启发式规则来提取水平结构平面（例如。天花板和地板）和垂直结构平面（如墙面）。
当满足以下条件时，一个水平结构平面被提取出来。(a) 角度
，且
，其中和
代表
的面积和法向量；(b) 我们选择平面的两个最大区域为地板和天花板。
然后，我们将一个基元视为一个垂直结构平面，如果。(a) 角度>85
高度
; 并且
，其中dis(A, B)代表平面A和平面B之间的距离。
最后，在整个平面提取规则中提取的所有结构平面构成了结构平面的集合
。图2是鲁棒性结构平面提取的一个例子。室内场景中提取的结构平面如图2a所示，每个平面都用不同的颜色标记。图2b中显示了未被用于拟合场景中结构平面的剩余点云。
图2. 稳健的结构面提取实例：（a）室内场景中提取的结构面，（b）提取的结构面和场景中剩余的点云。
2.3. 通过全局能量优化进行补丁到平面的分配
在稳健的结构平面提取之后，我们将属于主要结构平面的补丁进行分割。由于其对高水平噪声和杂波的鲁棒性，我们将表面斑块与结构平面提取的分配问题表述为全局能量优化。该算法的主要输入是第2.1节中分割的一组表面斑块和第2.2节中提取的结构平面。表面斑块与平面模型的匹配是通过最小化方程（1）中定义的全局能量函数完成的。算法1中描述了优化的算法。
假设从输入的室内场景中选择了k个结构平面。表面补丁集可以通过优化分配标签的全局能量函数来分离。每个l在[0,k]中取值，代表匹配平面所属的面片的标签。我们将表面斑块V划分到结构平面P中的问题表述为一个最佳标签问题，目标函数顺序为平衡几何误差和空间一致性，如公式（1）。
在公式（2）中几何误差衡量每个表面补丁与其匹配平面之间的归一化距离。数据成本函数的结构为：
其中
衡量从表面补丁的中心点到平面，可表示为公式（3）：
δ是噪声阈值，如果一个补丁到其匹配平面的归一化距离超过2δ，我们认为该补丁是一个离群点。此外，距离越长，表面补丁与平面匹配的惩罚就越大。
平滑成本项惩罚相邻表面斑块之间的标签不一致。邻近斑块和之间的平滑成本由Potts模型[56]定义，见公式（4），表明如果一对邻近斑块和被赋予相同标签，平滑成本为0；否则，为1。
由于斑块和平面的数量相对较少，方程（1）中的全局能量函数可以用α-扩展方法非常有效地优化[21]。当优化后能量下降时，我们接受新的标签并更新新的补丁分配。否则，优化进入下一次迭代。这个过程一直持续到不能减少为止。
2.4. 使用多约束条件的图形聚类
MCGC算法不仅考虑了点云的局部属性，而且还考虑了占据场景中大面积的结构成分。特别是，当结构平面上的物体的局部属性不够显著，无法通过正常的差异来区分，如窗户、装饰画等，就会采用点云的颜色内形成来分割物体。我们在图聚类算法的基础上紧密结合这些多约束条件，实现有效的室内场景分割。
我们使用第2.1节中由监督像素分割产生的邻接图来对场景进行过度分割。如前所述，超体素分割方法还提供了一个图在补丁定义连接邻近补丁的边的集合。使用邻接图G场景对象分割可以被描述为一个图形切割问题。具体来说，连接同一物体的相邻斑块对的边E被标记为关闭，否则为开放。这意味着当关闭的边被从邻接图中移除时，就会产生一系列的连接部件，每一个部件都代表着室内结构（如天花板、墙壁、地板）、物体（如电脑、书、窗户、装饰画）或物体的一部分（如椅子的扶手、桌腿）。多约束图聚类的算法的伪代码在算法2中描述。
在最近的工作中[51]，S. Stein等人提出了一种根据两个节点的法线，利用边缘的局部凸性和凹性进行物体分割的方法（LCCP）。尽管如此，在物体的边界处或在斑块内的点云有噪声时，估计的法线方向可能不准确，导致凸性分类和物体分割不准确。与只考虑表面斑块的几何特征的LCCP不同，我们同时考虑了局部凸性信息、场景的结构平面和RGB-D点云的颜色信息，并使用具有这些多重约束的图切来完成室内场景的分割。
具体来说，如果两个相邻的斑块对应于同一个结构面，它们很可能来自同一个室内结构。在这种情况下，这两个斑块的边缘被归类为关闭。如果两个斑块中只有一个符合平面，这两个斑块就属于两个不同的室内物体。这时，这两个补丁的边缘被归类为关闭。如果两个相邻的斑块不匹配任何平面，我们根据它们的局部凸性信息对连接它们的边缘进行分类。当局部凸性由于局部噪声不能完成正确的分割时，我们通过斑块之间的颜色差异完成边缘分类。对于所有的边，我们提出具有多重约束的边缘分类函数，定义为公式（5）。
其中1代表关闭，0代表开放。我们用度量来判断补丁和补丁之间的边缘是分为凹还是凸，这在文献[51]中有详细介绍。墙面上的物体的局部凸性并不明显，无法用法线差来区分，所以很难分割墙面上的物体，如装饰画和窗户。因此，我们设计颜色约束来分割物体，用结构平面和物体之间的色差来衡量，定义为
。在分类之后，我们从图G中剪切所有的OPEN边，生成一组子图，每个子图代表一个单独的物体或一个场景结构平面。多约束图聚类的分割结果如图3a所示。在分割结果中存在一些由噪声引起的过度分割部分。这些问题将通过下面的后精简步骤得到解决.
图3. 室内分割结果的说明：（a）多约束图聚类后的分割结果，（b）细化后的分割结果
2.5. 后重构
在多约束图聚类之后，由于
边界处的噪声点云的法线估计不准确，可能会出现一些错误的分割。此外，由于表面补丁与整个场景的相邻图无关，一些室内物体可能被过度分割。为了获得满意的分割结果，在后精简步骤中，上述两种情况下的出错者将被过滤掉。分割后细化的算法如算法3所示。
2.5.1分段合并
我们需要将这些过度分割的部分合并到其相邻的最大尺寸的分段中。对于每个区段，我们检查它是否至少包含斑块。如果分区的尺寸小于或等于过滤器尺寸阈值，我们就将其与具有最大表面补丁尺寸的相邻段合并。部分合并将继续进行，直到室内场景中没有尺寸小于的分区。如图 3a 所示，红框中的过度分割部分被合并到其相邻的片段中，如图 3b 中的黑框所描述。
2.5.2. 噪声过滤
场景中的边界上有一些噪声点云，这些噪声点产生的表面斑块与全局的超像素相邻图无关。由于MCGC是基于超像素相邻图的，这些噪声点所属的表面斑块会在场景中产生错误的分区。噪声点的数量通常很少。因此，我们在最终的分割结果中设置了一个噪声阈值，以检查每段的点云数量是否小于。其中，所有点云的标签都被重置为离群值。
3. 结果
本节描述了实验的细节，包括基准数据集的规格、评价标准、参数设置、MCGC的定性和定量评价，以及效果分析。MCGC算法是由点云库实现的。所有的实验研究都是在Intel(R) Core(TM) i7-11390H @ 3.40 GHz处理器和16GB内存上执行。
3.1. 数据集描述
使用两个基准的室内数据集对MCGC的性能进行了评估。一个数据集是斯坦福大学大规模3D室内空间（S3DIS）基准数据集[57]，它使用相机收集RGB-D点云，如图4a-6a所示；另一个是苏黎世大学（UZH）的研究数据集，它包含使用3D激光扫描仪的3D扫描点数据集，如图7a和8a所示。UZH的数据集可以在网站https://www.ifi.uzh.ch/en/vmml/research/datasets.html（2022年10月26日访问）上下载和使用。一般来说，S3DIS数据集比UZH数据集更具挑战性，因为由结构光传感器收集的点云包含较低的点位置精度和较高的噪声水平，这两点为PCS提供了很大的困难。
S3DIS数据集以不同的点位精度、点密度、离群值和噪声水平获得，通过Matterport相机采集。它包括六个大规模的室内区域，共有695,878,620个点，包括各种室内场景，包括办公室、会议室、茶水间、复印室、休息室和走廊。苏黎世大学的数据集包含了可用的三维扫描点数据集，这些数据集是由苏黎世大学的可视化和多媒体实验室在苏黎世大学的两个地点和苏黎世联邦理工学院的一个地点用Faro Focus三维激光测距仪获取的。每个室内场景由一个ASCII PTX文件组成，带有颜色（x，y，z，强度，r，g，b）。表1显示了实验中使用的室内场景数据的统计数据。
3.2. 评价指标
根据广泛用于评价对象分类的六个指标来评价MCGC的性能[44,48,49]。这些评价指标包括分割精度，分割召回率，分割F1分数，过分割率和欠分割率。
分割精度和分割召回率和分割F1得分分别定义如下：
其中表示正确分割的数量。如同以前的研究[58]，我们认为如果一个部分与地面实况重叠超过80%，则为有效。和分别代表我们分割结果中的部分总数和地面实况中的片段总数。
真值重叠的过度分割率是衡量与实际多个分割段的百分比，而部分欠分割率被表述为真值中与多个对应段重叠的百分比，如公式（9）和公式（10）。是过度分割的分割数，是分割不足的分割数。
3.3. 参数设置
表2列出了MCGC方法的参数设置。我们算法中的实验参数主要由表面补丁生成、全局能量优化、多约束图聚类和后精化步骤产生。在表面补丁生成中有两个参数，即和，表示表面补丁的体素分辨率和种子分辨率。分辨率会影响分割的精细度，我们根据经验设定=0.01，=0.07。能量优化过程包括一个关键参数δ，表示离群值的距离阈值。我们设定δ=0.03，这符合实验中所有室内场景的离群点距离阈值的条件。在多约束图聚类的过程中。我们设置，以保证通过局部凸性进行有效的物体分割，并设置，进一步细化结构平面上的细节分割。后期细化步骤使用两个参数，和。点数少于的部分将被合并为最大相邻部分。分离出来的部分，其点数小于，将被标记为离群值，我们在实验中设定=50。
3.4. 定性评价
MCGC方法在RGB-D基准数据集和激光扫描基准数据集上都进行了测试。图4-6显示了对S3DIS数据集的定性评价结果，图7和8显示了对UZH数据集的定性评价结果。图4a-8a描述了原始点云，根据其RGB值进行着色。图4b-8b表示输入点云的过度分割的表面斑块，每个斑块都有不同的标记。图4c-8c显示了结构平面的提取结果，包括提取的场景结构平面和剩余的未用于拟合场景结构平面的点云，其中每个平面用单一颜色表示。图4d-8d显示了多约束图聚类后的室内分割结果，图4e-8e显示了后精简后的最终结果，其中每个分割点用不同颜色点出。图4f-8f显示的是人工标注的地面实况，其中每个段都用不同的颜色标注。
对于结构平面和其上方的物体，由于从稳健的结构平面提取中准确地提取了平面，并且通过全局能量优化在斑块和平面之间进行了正确的匹配，我们正确地分割了大多数结构平面。然而，在分割墙体上方的细节时有一些错误的情况，如图4中的会议和图5中的办公室1墙上的白板就是例子。白板的分割不足是由物体和墙壁之间颜色的相似性造成的。因此，正如图4中的装饰画和图6中的窗户所显示的那样，颜色与墙壁有很大差异的物体可以通过颜色约束来分离。然而，通过与墙壁相似的颜色来分割物体是很有挑战性的，例如白板。
对于室内物体，我们通过基于斑块和结构平面之间的标签分配的边缘分类器来检测大多数单独的室内物体。然后，室内物体可以通过局部凸性约束来进一步区分。然而，局部表面凸性存在一些限制。当表面斑块处于物体的边界或斑块内的点云有噪声时，对斑块法线的估计会不准确，导致局部表面凸度的分类不正确，随后导致物体分区失败，如图4中会议的书柜上未检测到的物体。图7中散热器的几个管道也是由于同样的原因而过度分割。
总的来说，大多数室内结构、物体和/或它们在场景中的部分，包括墙壁、地板、窗户、电脑、椅背和桌腿，都能被我们的方法正确分离。定性结果表明，MCGC在高精度激光扫描数据集和低质量RGB-D点云数据集中都取得了令人满意的室内PCS性能。
3.5. 定量评估
为了以更严格的统计方式评估MCGC在室内PCS中的表现，我们使用第3.2节中提到的五个指标进行了定量分析，并计算了实验中每个程序的执行时间。表3报告了五个指标对实验数据的量化结果。表3中显示的结果表明，MCGC在将整个室内场景划分为物体部分方面具有很高的性能，在RGB-D点云数据集和激光扫描数据集上，和都高于0.7。表4中的执行时间数据显示，MCGC可以快速处理场景点云，进一步验证了MCGC的有效性。
对于S3DIS数据集，在office-1的结果中，、和都在0.7以上，和都低于0.1，验证了MCGC的可行性。如图6所示，7.27%的主要来自墙壁上未被识别的白板和书架上的小物件。9.26%的主要是由于办公椅弯曲表面的噪声造成的局部凸边分类不正确。在办公室2，与办公室1相比，包含更多复杂的细节，办公室2的比前者高，但表现略差。与办公室1的原因相同，造成了这些错误。在会议中，会议的欠分率为10.29%。这些错误是由于遗漏了书架上的一些物体分区造成的，如图5所示。由于书架之间的遮挡，噪声点云的估计法线是不正确的，随后导致小物体不能通过局部表面的凸度来分离。
对于UZH数据集，得到了改善，与S3DIS数据集相比，减少了，因为激光扫描的点云的噪声水平低于结构光传感器采集的点云，这提高了整体分割精度。Room-L9的和达到87.04和81.74，取得了令人满意的分割结果。然而，11.11%的主要是由于扫描点云中的遮挡造成的漏洞。遗漏的点云造成了几何特性的不连续，导致了过度分割。L80室的和比前者低，因为L80室采集的点云更完整，遮挡和缺失的数据更少，达到高精度的场景PCS，为80.65，为74.26，为77.32。
表4列出了MCGC算法的每个程序的执行时间。多约束图聚类和后精化所花费的时间仅占整个时间成本的10%。可以发现，稳健的结构面提取平均消耗了整体时间的70%，其余阶段花费的时间并不明显。整体时间成本的计算结果列于表4的最后一栏。通过运行我们提出的方法，处理100万个点的平均时间约为1.38秒（每秒724,000个点）。总的处理时间取决于初始点云的数量，并与场景数据的复杂性成正比。这反映了MCGC的时间效率优势，它能够实时处理大数量的场景点云。
总之，我们对由各种室内结构和各种形状的室内物体组成的室内场景进行了MCGC的评估。定量评估结果表明，对于由不同传感器收集的不同室内数据集，我们的方法在准确性和时间效率方面都取得了很高的性能。
3.6. 效果分析
为了进一步研究我们的贡献对室内PCS的影响，我们还计算了MCGC-1、MCGC-2、MCGC-3、MCGC-4和MCGC-5的指标，它们是MCGC方法的变种。
首先，我们评估了只使用局部凸约束的室内PCS的性能，表示为MCGC-1。在MCGC-1的基础上，我们增加了第2.2节中描述的全局稳健结构面提取程序。因此，全局平面约束和局部几何约束共同作用于室内PCS的效果可以被定量评估，表示为MCGC-2。根据表5中列出的相应指标，与MCGC-1相比，MCGC-2提高了所选两个点云的、和，这表明它在将全局平面约束和局部几何约束共同用于室内PCS中是有效的。
为了进一步准确评估我们的创新效果，我们评估了不包括结构平面提取的情况。换句话说，我们将第2.2.1节中描述的场景平面检测阶段的平面结果用于后续实验，而没有使用先验知识来提取第2.2.2节中描述的结构平面。对此，我们可以准确评价结构平面提取的设计在鲁棒性结构平面提取的程序中是否有效，表示为MCGC-3。如表5所示，MCGC在、和方面远远超过了MCGC-3，这表明在场景平面检测过程之后的结构平面提取过程可以显著提高室内PCS的精度。场景中所有检测到的参与分割的平面都会引起物体过度分割的错误情况，其误差从（4.3和8.3）增加到（21.51和12.05）。
接下来，我们评估了颜色约束不包括在MCGC中的情况，表示为MCGC-4。通过比较表5中MCGC-4和MCGC的指标，可以看出颜色约束对提高室内PCS的效率起到了一定的作用。在这种情况下，结构平面上的物体不能被有效区分，如海报和黑板，导致增加。
最后，我们评估了在MCGC中不包括后精简程序的情况，表示为MCGC-5。根据表5中列出的相应指标，MCGC-5的、和在没有后精简程序的情况下大大降低，这表明后精简程序增强了过滤由离群值引起的错误片段的能力，从（16。 13和10.84）到（4.3和8.3）。
4. 讨论
我们进一步分析和讨论了MCGC与最先进的分割算法在相同数据集下的有效性。高效的RANSAC[11]是最广泛使用和引用的检测三维形状的方法，它已被证明对场景分割有用。Rabbani等人[59]提出了一种区域生长（RG）方法，其性能优于经典的PBRG方法。S. Stein等人[51]提出了一种使用局部凸性的最新物体分割方法，表示为LCCP。Xu等人[44]提出了一种基于体素的方法，使用概率模型进行建筑结构分割。因此，这些最先进的PCS算法被采用作为性能比较基准。这些方法的关键参数是根据原始论文中建议的参数来设置的。图9-13显示了比较的可视化结果，相应的评价指标和执行时间列于表6。结果表明，MCGC方法优于其他基准方法。更具体地说，从比较结果中可以得出一些结论。
图9a-13a和9b-13b表明，当使用局部最优算法（RANSAC和RG方法）来分割室内场景时，分割结果非常分散，许多物体部分被过度分割。此外，表6中的定量结果表明，RG和RANSAC获得的、和值相对较低，特别是比MCGC高。在下面的讨论中，我们分析了导致性能降低的因素。
RG方法根据点的法线角差合并满足平滑约束的相邻点，适合检测法线角差较小的平面，导致室内场景中具有曲面结构的物体不能准确分离，如图9b和10b中的过度分割的椅背。由于分割结果受法线差异的影响很大，RG算法不仅容易导致室内物体的过度分割，如图11b中的墙壁，而且难以分割法线差异小的部分，如图9b和10b中墙壁上的白板。值得注意的是，RG方法在UZH上的分割性能明显提高。如表6的Room_L80所示，由于激光扫描数据集中的噪声水平较低，点位精度较高，RG方法的为61.29，为50.00，为42.22，超越了RANSAC、LCCP和VGS方法。在这方面，我们可以得出结论，RG方法对噪声非常敏感。然而，由于基于统计分析的平面检测程序对噪声具有鲁棒性，MCGC方法在这两个数据集中的评估结果差别不大。
逐一检测基元仅限于RANSAC提供的形状先验，只提取了五类基元：平面、球体、圆柱体、圆锥体和环。然而，室内物体通常是具有不规则形状的更复杂的几何模型。因此，直接拟合模型将导致模型不匹配的问题和较高的过度分割率。此外，贪婪地搜索大多数离群点往往会导致拟合模型的过渡误差的次优解，从而导致物体部分之间的边界不准确，如图9a中的椅背。物体的细节被分割成许多不规则的部分，如图10a中的椅子的坐垫和脚。为了解决上述局部最优算法的局限性，MCGC不仅使用全局优化来实现高水平噪声和杂波数据集的鲁棒性分割，还使用局部凸性信息和颜色约束来完成各种室内物体和室内结构上细节的分割。
如表6中的所示，LCCP方法在过度分割的问题上比RANSAC和RG表现得更好，这是因为物体的分割是由局部表面凸性分开的。与LCCP相比，MCGC在、和值方面有更好的表现。从可视化结果可以发现，LCCP算法未能将结构墙和地板从场景中分割出来，也未能分离出孤立的物体，如图11c中的桌子。前者是因为相邻斑块的法线非常相似，无法满足LCCP中为补偿传感器噪声而设置的奇异值阈值，导致物体分割的错误。后者是因为LCCP算法在区域生长过程中未能在凸边上形成一个闭环。可以看出，在墙的边缘有很多小段没有成功连接，如图10c所示。综上所述，LCCP算法中几何凸度量的约束范围是有限的，在密集的室内场景中，仅靠单一的几何凸度量很难同时实现对平面大型结构件和曲面物体的分割。
VGS方法在体素之间构建了一个邻接图，这与我们提出的MCGC方法类似。主要的区别在于分割图中边缘的标准。具体来说，VGS方法使用表面连通性、形状相似性和空间距离来计算加权边的突出性，而MCGC方法则考虑室内场景的结构平面、局部凸度和点云的颜色，将图分成几个子图。通过比较图9d-f的可视化结果，可以发现书架旁边的红墙与书架没有分开，而在MCGC方法中，书架被准确分开。类似的情况也出现在图12d和13d中，因为场景中的大型结构平面不容易通过局部几何属性来区分，导致VGS方法的相比之下更高。然而，整体分割性能优于RANSAC、RG和LCCP方法，它们的、和更高。
表6中列出的执行时间表明，与RANSAC和RG相比，MCGC的执行时间减少了两个数量级，这表明表面补丁生成大大加快了计算速度，降低了计算成本。总之，实验结果表明，MCGC方法大大优于高效的RANSAC、RG、LCCP、VGS方法。
我们提出的MCGC分别处理主要结构平面和附属物体（墙壁、地板、窗户、踢脚线、装饰画等）以及室内物体（沙发、书桌、书柜和椅子等）。分别处理具有不同几何属性的室内部分的工作流程，增强了将杂乱的室内场景分割成具有更多细节的物体部分的能力，提高了室内分割的准确性和完整性。然而，MCGC方法在处理空间上不连续的物体方面有局限性。与图12f相比，图12e中显示的印有海报的深绿色门被分割成两块，海报在它们之间。从理论上讲，被海报分割的两块门属于一个室内物体，但该算法无法分割这种空间上不连续的物体。同样的错误情况也发生在由于采集设备的限制而造成的遮挡、孔洞或数据缺失。在未来的工作中，我们将进一步利用全局信息来克服这些限制。具体来说，全局语义信息将与局部几何属性一起参与到分割算法中。
5. 结论
本文介绍了一种基于多约束图聚类的室内分割的新方法（MCGC），它有效地利用了三维室内场景的多元信息。重要的是，我们将提取的结构平面、局部表面凸度和物体的颜色信息紧密结合起来进行场景分割，解决了以往无监督分割算法中模型不匹配和缺乏细节部分的问题。特别是，我们提出了一种稳健的平面提取方法，并使用全局优化法将斑块分配给室内结构平面。此外，我们展示了如何通过采用图形聚类方法，将提取的平面与局部凸性信息和颜色约束联合起来进行分割。此外，整个MCGC算法是基于从点云中生成的表面斑块，并设计了一个后精简步骤来过滤异常值，这极大地提高了计算速度并节省了计算开销。在每秒724,000点的平均处理速度下，实验结果的分段精度和召回率平均达到70%。
在具有挑战性的RGB-D点云数据集（S3DIS）和激光扫描数据集（UZH）上的实验结果表明，MCGC极大地提高了室内PCS的效率和精度，并超过了最先进的无监督场景分割方法。在计划的未来工作中，我们将考虑提高物体分割的边界精度，并探索更好的分割标准来有效地分割室内场景。
