l(2,1)范数和海森正则化的判别性非负矩阵分解算法

参考文献：基于子空间学习的数据表示方法研究_罗鹏

文章中提出的基于 $\mathcal{l}_{2,1}$ 范数和海森正则化判别性的非负矩阵分解算法（$\mathcal{l}_{2,1}$HNMFD）是一种创新的数据表示方法，用于解决高维数据降维问题，同时保留数据的局部几何结构，确保表示的稀疏性和判别性。以下是该算法的详细介绍和相关公式：

$\mathcal{l}_{2,1}$HNMFD算法的核心思想

1. 海森正则化：传统的图拉普拉斯正则化可能使表示偏向于固定值，减弱了数据局部几何结构的保持。海森正则化通过引入二阶能量（海森能量），使得函数值随测地线距离线性变化，更好地保持了数据的局部流形结构。
2. $\mathcal{l}_{2,1}$范数：标准非负矩阵分解（NMF）可能无法保证分解因子的稀疏性。$\mathcal{l}_{2,1}$范数是一种特殊的矩阵范数，通过约束编码矩阵V的每一行，实现行稀疏性，即选择性地保留重要的特征维度，剔除不重要的特征。
3. 判别性信息：NMF通常忽视了数据间的判别信息。$\mathcal{l}_{2,1}$HNMFD通过近似正交约束，挖掘出数据的判别性信息，增强表示的判别能力。

目标方程和优化

$\mathcal{l}_{2,1}$HNMFD的目标方程综合了数据拟合误差、海森正则化、$\mathcal{l}_{2,1}$范数约束和判别性信息约束。具体目标方程如下：

$\min_{U,V} \|X - UV^T\|_F^2 + \lambda tr(V^TLV) + \gamma \sum_{i=1}^{m}\|V_i\|_{2,1} + \beta V^TBV$

• (X) 是非负数据矩阵。
• (U) 和 (V) 分别是基矩阵和编码矩阵。
• $\lambda$ 控制编码矩阵(V)的光滑性。
• $tr()$ 的含义是矩阵的迹，即矩阵对角线元素之和。
• (L) 是图拉普拉斯矩阵。
• $\gamma$ 和 $\beta$ 分别控制 $\mathcal{l}_{2,1}$ 范数和海森正则化的强度。
• (B) 是 用于估计海森正则化F范数的矩阵。

更新规则

$\mathcal{l}_{2,1}$HNMFD使用迭代乘子法求解上述优化问题，更新规则如下：

• 更新(U)：$U \leftarrow U \odot \frac{(XV^T)}{(UVV^T)}$
• 更新(V)：$V \leftarrow V \odot \frac{((U^TX) + \beta B V)}{(U^TU V + \lambda DV + \gamma D_{2,1}V)}$

其中，$\odot$ 表示按元素乘法，$D_{2,1}$ 是用于计算 $\mathcal{l}_{2,1}$ 范数的对角矩阵。

实验验证

实验在YALE、ORL和UMIST三个数据集上展示了$\mathcal{l}_{2,1}$HNMFD算法的收敛性。结果显示，在迭代初期，目标方程迅速下降，通常在100次迭代内就能收敛。这表明$\mathcal{l}_{2,1}$HNMFD在实际应用中具有良好的收敛性能。

总结

$\mathcal{l}_{2,1}$HNMFD算法通过海森正则化保持数据的局部几何结构，通过 $\mathcal{l}_{2,1}$ 范数约束实现行稀疏性，通过近似正交约束增强表示的判别性，从而为高维数据提供了一个有效的低维表示。