Fully Convolutional Geometric Features Choy等，2019b
这项工作所关注的三维数据包括表面的三维扫描。在此类数据集中，大部分三维空间都是空的。为了处理这种稀疏性，我们使用了稀疏张量：稀疏矩阵的高维等价物。在数学上，我们可以将三维数据的稀疏张量表示为一组坐标 C 和相关特征 F：
其中，xi , yi , zi∈ Z 是第 i 个三维坐标，bi 是批处理索引，为批处理提供了额外的维度。fi 是与第 i 个坐标相关的特征。
稀疏张量卷积（又称稀疏卷积）的定义与传统（密集）卷积有些不同。在离散密集三维卷积中，我们提取输入特征并与密集核矩阵相乘。用 V n(K)表示 nd 维空间中的一组偏移，其中 K 是核大小。例如，在一维中，V 1 (3) = {-1, 0, 1}。密集卷积的定义如公式 2 所示，其中 Wi 表示偏移 i 处的核值：
相反，稀疏张量只有在集合C中存在相应的坐标时，才在位置u处有特征。因此，仅对子集N N (u, K, C) = {i|i∈Vn(K)， i + u∈C}求卷积项就足够了。(即，i + u存在于坐标c集合中的偏移量i的集合)如果我们使输入和输出坐标的集合不同(分别为C in和C out)，我们得到广义稀疏卷积[2]，如式3所示:
稀疏的全卷积特征。全卷积网络完全由平移不变操作组成，例如卷积和元素非线性。类似地，如果我们对一个稀疏张量应用一个稀疏卷积网络，我们得到一个稀疏输出张量。我们把这个输出张量的内容称为全卷积特征。我们使用带有跳过连接和残差块的UNet结构来提取这种稀疏的全卷积特征。我们的网络架构如图2所示。
全卷积度量学习
度量学习从两个约束开始:相似的特征必须彼此接近——D(fi,fj)→0∀(i, j)∈P——而不同的特征至少要有一定的距离:D(fi,fj) > m ∀(i, j)∈N，其中D(·，·)是距离度量。对违和量进行平方，得到标准对比损失。Lin等[19]表明，正对的约束可能导致过拟合，并提出了基于边际的正对损失:
其中，如果(i, j)∈P, Iij = 1，否则为0，¯·为NOT运算符。Mp和mn是正对和负对的边距。同样，我们可以将排序约束m + D(f,f+) < D(f,f−)转化为三元组损失:
对于对比损失和三元组损失，采样策略对性能的影响很大，因为决策边界是由很少的最难负定义的。
4.1. 全卷积特征的特征
传统的度量学习假设特征是独立且同分布的(i.i.d)，因为批次是通过随机抽样构建的[14,32,28,27]。然而，在全卷积特征提取中，相邻特征是局部相关的。因此，困难-负 挖掘可以找到锚点附近的特征，它们是假阴性的。因此，过滤掉假阴性是至关重要的，Choy等人[3]使用了距离阈值。
此外，在全卷积设置中使用的特征数量比标准度量学习算法大几个数量级[27,28]。例如，FCGF为一对扫描生成约40k个特征(这与批处理大小成比例地增加)，而传统度量学习中的小批处理大约有1k个特征。因此，在标准度量学习中使用批处理内的所有两两距离是不可行的。
4.2. 最困难对比损失和最困难三元组损失
在本节中，我们提出了全卷积特征学习的度量学习损失。像度量学习中的许多算法一样，我们关注的是高效的难负挖掘。首先，我们采样锚点和一组用于每个场景的挖掘。然后，我们在正对(fi,fj)中为fi和fj挖掘最难的负f - i,f - j(图3)，并从相应的锚点删除落在一定半径内的假负。然后，我们对挖掘的四重组(fi,fj,f - i,f - j)使用两两损失，形成了全卷积对比损失:
其中P是minibatch中全卷积提取特征的所有正对的集合，N是minibatch中用于负挖掘的全卷积特征的随机子集。Ii是I(I, ki, dt)的缩写，是一个指示函数，如果特征ki位于以特征I为中心的直径为dt的球体外，则返回1，否则返回0，其中
。
是一对中第一项(第二项|Pj |)有效挖掘的否定数。负对的归一化项就是对所有有效的负对平均。λn是负损失的权值，我们简单地用0.5来等量正负的权值。类似地，我们可以用在批中挖掘的难负样本形成三元组损失:
其中
，一个归一化常数。上面的方程找到了(i, j)∈P的最难的负数(图3)。这里P是批处理中所有正对的集合。请注意，我们遵循Hermans等人[15]，使用非平方损失来减轻特征坍缩成单点的情况。在实验中，我们仍然观察到全卷积最难三元组损失容易崩溃(所有特征收敛到一个单点)。
相反，我们将上述三元组损失与随机抽样的三元组混合以减轻崩溃。与Eq. 6类似，我们将随机抽样三元组和难负三元组同等地加权。
定义以特征I为中心的直径为dt的球体，这个范围是阈值，球体内是同类点，球体外是负类点，在负类点中距离中心点最近的点是最难负点
