python三维空间点云梯度 三维点云精度怎么评价

PCQM：彩色3D点云的全参考质量评估方法

1. 简要介绍

在压缩大数据量的点云数据时会产生失真，由于一些条件限制，需要客观质量评价的方法来评估点云失真的程度。本篇论文提出了一种针对含有色彩和位置信息的点云的全参考客观质量评估方法。

问题的核心是如何将彩色信息和位置失真程度的评估结合起来。此篇论文的解决方案是选择和计算和位置和色彩相关的一些特征，再取这些特征最优的子集，作一个线性组合。

2. 评估方法

2.1 建立被比较点云的联系

建立联系时，选取参考点云的点计算失真点云的对应点，也就是将参考点云的点投射到失真点云上，顺序不能颠倒。

建立点云之间的联系分为两部分：几何信息的联系和色彩信息的联系。设参考点云$R$上的一点$p$，寻找失真点云$D$上的对应点$\hat{p}$需要通过$D$上$p$位置处的邻近点云（此时$\hat{p}$位置未知）用最小二乘法拟合出一个二次曲面$Q$。具体过程为：首先用主成分分析(PCA)估计一个大致的切面，求得一个正交坐标轴$(u_x,u_y,u_z)$，其中$u_z$和表面的大致法向量平行。得到坐标轴后可以得到$p$邻近的第$i$点的坐标$(x_i,y_i,z_i)$，再使得所有邻近点到平面距离平方之和最小拟合出这个二次曲面（最小二乘法），确定了$Q$之后，$\hat{p}$在$(u_x,u_y,u_z)$下的坐标为$(0,0,Q(0,0))$。这样就建立了几何信息的联系。

若设曲面$Q(x,y)=ax^2+by^2+cxy+dx+ey+f$，则$Q$拟合就是使得$\sum_i||z_i-Q(x_i,y_i)||^2$最小。

色彩信息的联系相对简单。$\hat{p}$确定之后令其颜色与$D$点云上最近的邻近点颜色相同。

2.2 邻近点范围划分

本篇文章用球体作为邻近点的范围划分。用$N(p.h)$表示球心为$p$，半径为$h$的球体。需要注意的是，计算特征用$h$,计算2.1中的二次曲面用$\frac{h}{2}$。

2.3 计算特征

2.3.1 几何特征的计算

几何特征的选取和这个team另一篇论文¹中相同。这些特征基于平均曲率信息$\rho$，$\rho$可以直接由2.1中的拟合二次曲面的系数得到：
$\rho=\frac{(1+d^2)a+(1+e^2)b-4abc}{(1+e^2+d^2)^{\frac{3}{2}}}$
对于每个参考点云$R$上的点$p$，需要计算两个$\rho$值，一个是$\rho_p$，一个是$\rho_{\hat{p}}$。这两个是需要用到两个拟合曲面，正如2.1所示，拟合二次曲面是基于邻近点来计算的。计算$\rho_p$的临近点范围为$N(p,\frac{h}{2}) \in R$，计算$\rho_{\hat{p}}$则是。这两个平均曲率$N(p,\frac{h}{2}) \in R$值计算之后可以得到如下特征。

$\text{Curvature comparison }\quad f_1^p=\frac{||\mu_p^\rho-\mu_{\hat{p}}^\rho||}{max(\mu_p^\rho,\mu_{\hat{p}}^\rho)+k_2}$

$\text{Curvature contrast }\quad f_2^p=\frac{||\sigma_p^\rho-\sigma_{\hat{p}}^\rho||}{max(\sigma_p^\rho,\sigma_{\hat{p}}^\rho)+k_2}$

$\text{Curvature struture }\quad f_3^p=\frac{||\sigma_p^\rho \sigma_{\hat{p}}^\rho-\sigma_{p\hat{p}}^\rho||}{max(\sigma_p^\rho,\sigma_{\hat{p}}^\rho)+k_2}$

其中$k_i$是常数，防止分母接近0出现不稳定的情况，经常被设为常数1，这借鉴了SSIM的经验。$\mu_p^\rho,\mu_{\hat{p}}^\rho$是在$N(p,\frac{h}{2}) \in R$和$N(p,\frac{h}{2}) \in R$范围内的邻近点曲率按正态分配权重的均值(Gauss-weighted average)。$\sigma_p^\rho,\sigma_{\hat{p}}^\rho,\sigma_{p\hat{p}}^\rho$是在这些范围内的邻近点的标准差和协方差。

2.3.2 色彩特征的计算

色彩特征的计算是本篇论文的创新点，是延伸了2D图像的质量评估²工作得到的。作者首先将RGB数值转化为可感知的色域LAB2000HL。然后每个点都有一个亮度值(Lightness)$L_p$，两个彩色的值(chromatic values)$a_p,b_p$，彩度(chroma)可以定义为$c_p=\sqrt{a_p^2+b_p^2}$。可以得到如下特征：
$\text{Lightness comparison }\quad f_4^p=\frac{1}{k_4(\mu_p^L-\mu_{\hat{p}}^L)+1}$

$\text{Lightness contrast }\quad f_5^p=\frac{2\sigma_p^L \sigma_{\hat{p}}^L+k_5}{\sigma_p^{L^2}+\sigma_{\hat{p}}^{L^2}+k_5}$

$\text{Lightness structure}\quad f_6^p=\frac{\sigma_{p\hat{p}}^L+k_6 }{\sigma_p^L \sigma_{\hat{p}}^L+k_6}$

$\text{Chroma comparison }\quad f_7^p=\frac{1}{k_7(\mu_p^c-\mu_{\hat{p}}^c)+1}$

$\text{Hue comparison }\quad f_8^p=\frac{1}{k_8\overline{\Delta H_{p \hat{p}}}^2+1}$

其中$\Delta H_{p\hat{p}}=\sqrt{(a_p-a_{\hat{p}})^2+b_p-b_{\hat{p}})^2+(c_p-c_{\hat{p}})^2}$,$\overline{\Delta H_{p \hat{p}}}$是在$N(p.h)$范围内的高斯权重均值。

3. 组合几何和色彩的特征

由2.3可以计算每个局部特征值，在整个参考点云$R$上求均值可以得到全局特征值。接下来就是要将特征值组成的列向量$\bold{f}$映射为一个标量值，范围从0到1。作者则将这些特征线性组合起来，用逻辑回归得到权重,也就是下面的$\bold{\omega}$向量
$PCQM=\sum_{i \in S}\omega_i f_i$

3.1 数据和训练

文章选取了IST Rendering Point Cloud数据集。包含六个MPEG库的彩色点云（点的数量从272,684到4,848,745），这六个点云分别用八叉树剪枝、MPEG G-PCC、MPEG V-PCC三种编码方式以不同的编码率得到低、中、高三种不同的质量。所以一共是6*3*3=54个点云。每个点云被20个志愿者使用DSIS主观评测方法进行主观打分。数据集中使用了三种渲染方法，但是因为本文注重的是彩色点云，所以注重3D points with color这种渲染方法的主管评测均值（MOS）。

文章的模型仅有一个参数$h$，在测试中选择$h=0.008 \times BB$，其中BB是最大的框盒长度（bounding box）。

3.2 训练结果

文章模型的表现的测试结果由主观和客观得分之间的Spearman和Pearson相关系数³得到。

首先是单个特征的预测表现，其中$f_5$的表现最佳，这部分不赘述。

其次是线性模型的最优化。为了防止过拟合需要选择一个最优的特征子集。首先将数据集按照六个初始点云分割，每个子集有3*3*3=27个点云。一部分是用来训练得到最优的权重，一部分用来测试。因为一共有6个初始点云，所以一共有$C_6^3=20$种分割方式，取其均值，便是一组特征列向量的表现结果。因为有8个特征，所以共有$2^8-1=255$种结果，遍历所有结果，可以压缩到三个特征:$f_3,f_4,f_6$，也就是Curvature structure,Lightness comparison,Lightness structure。

最后是PCQM模型的综合结果，文章将单个$f_5$特征和PCQM和两个 baseline进行比较。两个baseline分别为：$D_{geo}$为$p$和$\hat{p}$之间的几何距离均值（用简单的最近邻方式），再用框盒长度进行归一化。$D_{color}$为色域距离的均值(LAB2000HL)。可以得到PCQM两个相关系数都是最佳的。

取多个训练子集，再取平均可以得到最佳的系数为：
$PCQM_{rec}=0.18f_3+0.44f_4+0.38f_6$

---

1. G. Meynet, J. Digne, and G. Lavou´e, “PC-MSDM : A quality metric for 3D point clouds,” in International Conference on Quality of Multimedia Experience, 2019. ↩︎
2. I. Lissner, J. Preiss, P. Urban, M. S. Lichtenauer, and P. Zolliker, “Imagedifference prediction: From grayscale to color,” IEEE Transactions on Image Processing, vol. 22, no. 2, pp. 435–446, 2013. ↩︎