潜在因子模型+拉普拉斯噪声 差分隐私

在Latent Factor Models中添加拉普拉斯噪声的方式通常是在目标函数中引入拉普拉斯噪声，使得每个元素都有一定的概率被扰动。因此，在该模型中，我们可以将目标函数表示为：

$\text{argmin}{\mathbf{P}, \mathbf{Q}} | \mathbf{R} - \mathbf{PQ}^T |F^2 + \frac{\lambda}{n} \sum{i,j=1}^{n} |p{ij}| + \frac{\lambda}{m} \sum_{i,j=1}^{m} |q_{ij}|$

其中，$\mathbf{R}$ 是观测矩阵，$\mathbf{P}$ 和 $\mathbf{Q}$ 分别是潜在因子矩阵和因子载荷矩阵，$\lambda$ 是拉普拉斯分布的尺度参数，$n$ 和 $m$ 分别是 $\mathbf{P}$ 和 $\mathbf{Q}$

要证明合成数据满足差分隐私，我们需要考虑两个相邻数据集 $\mathcal{D}$ 和 $\mathcal{D}$ 之间的距离，即 $||\mathcal{D} - \mathcal{D}$。在这种情况下，我们可以将 $\mathcal{D}$ 视为无噪声的数据集，而 $\mathcal{D}$

具体来说，我们可以使用全局敏感度来度量添加的噪声对目标函数的影响。在这种情况下，我们可以发现，如果我们向每个元素添加的噪声 $\epsilon_i$ 满足 $|\epsilon_i| \leq c/\lambda$，则目标函数是满足 $(2c/\lambda)$-全局敏感度的。这意味着添加的噪声对目标函数的最大影响不超过 $(2c/\lambda)||\mathcal{D} - \mathcal{D}$，从而满足 $(\epsilon, \delta)$-差分隐私，其中 $\delta$

综上所述，将拉普拉斯噪声添加到 Latent Factor Models 的目标函数中可以保护合成数据的差分隐私。

以下是与上述相关的参考论文：

• Dwork, C. (2006). Differential privacy. In Proceedings of the 33rd International Colloquium on Automata, Languages and Programming (pp. 1-12).
• Dwork, C., & Roth, A. (2014). The algorithmic foundations of differential privacy. Foundations and Trends in Theoretical Computer Science, 9(3-4), 211-407.
• McSherry, F. (2009). Privacy integrated queries: an extensible platform for privacy-preserving data analysis. In Proceedings of the 2009 ACM SIGMOD International Conference on Management of data (pp. 19-30).
• Wang, Y., Zhang, Y., & Jin, R. (2015). Collaborative matrix factorization with multiple similarities for predicting drug-target interactions. In Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (pp. 1025-1034).