guog算法笔记的博客_理论(1)

Mahalanobis distance 马哈拉诺比斯距离

给定一个数据点x\mathbf{x}x和均值μμ，以及数据的协方差矩阵S\mathbf{S}SDMxμx−μTS−1x−μDMxμx−μTS−1x−μ。

统计学

数据

协方差

协方差矩阵

原创 2024-10-27 06:14:29 80 阅读

Wasserstein距离

假设我们有两个定义在度量空间上的概率分布PPP和QQQ，即它们是两个概率测度。我们考虑如何将分布PPP转换为分布QQQ的问题。一阶W

统计学

人工智能

概率分布

机器学习

距离度量

原创 2024-10-27 06:14:27 1356 阅读 1收藏

1-Lipschitz函数

设fX→Yf: X \to YfX→Y是定义在两个度量空间XdX(X, d_X)XdX和YdY(Y, d_Y)YdY之间的函数，其中dXd_XdX和dYd_YdY是度量，即用来度量点之间距离的函数。如果对于任意的x1x2∈Xx1x2∈X，有dYfx1fx2≤dXx1x2dYfx1fx2))≤dXx1x2则称fff。

机器学习

统计学

度量空间

斜率

深度学习

原创 2024-10-27 06:14:22 125 阅读

Expectation-Maximization Algorithm（EM算法）

EM算法是一种强大的迭代优化算法，专门用于在存在隐变量或不完全数据的情况下进行最大似然估计。它通过反复进行期望

算法

机器学习

人工智能

似然函数

数据

原创精选 2024-10-27 06:14:16 250 阅读

Jensen-Shannon散度（JS散度）

Jensen-Shannon散度是一种改进的、对称的概率分布相似性度量，能够有效克服KL散度的局限性。它具有非负性、对称性和有界性等良好性质，广泛应用于机器学习、自然语言处理、生物信息学和信息论等领域。JS散度的直观含义是通过比较两个分布与它们的中间分布的差异，来量化两个分布之间的相似性

人工智能

统计学

概率分布

机器学习

文本分析

原创 2024-10-27 06:14:11 1617 阅读

算法收敛的一些证明方法与案例

证明一个算法收敛通常涉及多个角度，以下是一些常用的方法和示例：通过数学归纳法证明算法在每一步的输出结果都在收敛范围内。示

算法

统计学

人工智能

迭代

有界性

原创 2024-10-27 06:13:49 514 阅读

证明算法(参数估计)满足大样本性质

要证明一个算法满足一些大样本性质，通常可以从以下几个角度进行分析：一致性：证明算法的估计量随着样本量的增加收敛于真实参数。通常使用

算法

机器学习

概率论

正态分布

中心极限定理

原创 2024-10-27 06:13:43 179 阅读

从分布 P 中抽取随机变量 X的期望值

在这种情况下，期望值的计算依赖于PPP离散随机变量如果XXX是离散的，且其概率质量函数为PXxipiPXxipiEX∼PX∑ixi⋅piEX∼PXi∑xi⋅pi连续随机变量如果XXX是连续的，且其概率密度函数为pxp(x)pxEX∼PX∫−∞∞x⋅pxdxEX∼PX∫−∞∞x⋅pxdxEX∼PXEX∼P

统计学

概率分布

概率密度函数

均匀分布

原创 2024-10-27 06:13:36 46 阅读

算法的收敛速度计算过程

明确算法收敛的定义，例如在优化问题中，通常是指损失函数值或参数估计的变化趋向于零。

算法

python

人工智能

损失函数

迭代

原创 2024-10-27 06:13:33 274 阅读

超平面法向量和固定随机特征方向

通过这个例子，我们看到，法向量的更新允许模型适应新数据的标签，但如果特征方向固定，模型的适应性会受到限制，无法有效捕捉数据分布的变化。

统计学

数据

数据分布

在线学习

原创 2024-10-19 05:15:01 57 阅读

过采样和欠采样

过采样和欠采样是处理不平衡数据集的两种常用技术，主要用于机器学习和数据挖掘中。

统计学

数据集

聚类算法

机器学习

原创 2024-10-19 05:14:57 40 阅读

异常值理解

统计定义在统计学中，异常值通常是指在数据分布的尾部的点。比如，可以用标准差来定义：数据点如果离均值超过一定的标准差范

统计学

标准差

数据集

数据

原创 2024-10-19 05:14:45 63 阅读

箱线图识别异常值的方法

值得注意的是，这种方法识别出的异常值是统计上的异常值，并不一定意味着这些数据是不正确的或者没有价值，它们可能代

统计学

数据

最小值

统计图表

原创 2024-10-19 05:14:42 750 阅读

高维空间的维数灾难问题

高维空间的维数灾难问题是指在处理高维数据时，随着维度的增加，数据的性质发生了显著变化，从而导致许多传统的机器学习和统计方法失效的现象。

统计学

数据

过拟合

距离度量

原创 2024-10-19 05:14:38 195 阅读

高维数据和超高维数据

在统计学中，高维数据和超高维数据都是指具有大量特征（变量）的数据集，但它们之间存在一些重要的联系与区别。维度的定

统计学

数据

数据集

图像处理

原创 2024-10-19 05:14:34 223 阅读

铰链损失函数

铰链损失鼓励模型找到一个可以有效区分不同类别的超平面，同时保持一定的边际（margin）。通过最小化铰链损失，模型会倾向于找到距离决策边界较远的点。：在训练过程中，铰链

机器学习

人工智能

损失函数

支持向量机

最小化

原创 2024-10-19 05:14:32 52 阅读

逆概率加权

逆概率加权（Inverse Probability Weighting，简称IPW）是一种在统计分析和因果推断中常用的方法，它用于调整观察数据中的选择偏差或者混杂因素带来的影响。逆概率加权的基本思想是给予不同观测值不同的权重，使得处理组和对照组在混杂因素上的分布趋于一致，从而可以更加准确地估计处理效应。

统计学

权重

无偏估计

参数估计

原创 2024-10-19 05:14:27 679 阅读

Π-系上的最小 d-系等于 Π-系上的最小集代数

系的定义还允许集合的并集和差集。中所有集合的并集、交集和差集。上的最小集代数，这意味着它包含。是最小的，它不会包含任何不在。上的最小集代数，它已经包含了。中所有集合的并集、交集和差集。-系上的最小集代数. 即若。还可能包含其他集合，因为。中的所有集合，并且满足。-系，这意味着它满足。-系上的最小集代数。

统计学

概率论

并集

原创 2024-10-19 05:14:23 64 阅读

逆概率加权（R和Python案例）

逆概率加权（Inverse Probability Weighting, IPW）是一种统计技术，用于观察性研究中调整混杂变量的影响，以便更准确

r语言

python

开发语言

权重

数据

原创 2024-10-19 05:14:18 797 阅读

一个证明-待验证

中的一个集代数，那么由。定理 6 指出，如果。这就完成了定理的证明。

统计学

概率论

原创 2024-10-19 05:14:14 66 阅读

模型分割与模型分片

在实际应用中，例如PyTorch的完全分片数据并行（Fully Sharded Data Parallel, FSDP）技术，它通过将模型参数和梯

机器学习

数据

深度学习

物理设备

原创 2024-10-19 05:14:12 342 阅读

术语“in law”（在分布上）

在概率论和统计学中，术语“in law”（在分布上）指的是随机变量的分布收敛到某个目标分布的情况。下面是对这个概念及其在定理中的应用

概率论

原创 2024-09-24 14:10:59 244 阅读

集合的子集类

PW的所有非空子集是一个集合，包含了PWP(W)PW的所有非空子集。PWP(W)PW的所有非空子集类通常是指满足特定条件的子集族，这些条件可以包括补集封闭性、有限加法封闭性等。

概率论

原创 2024-09-24 14:10:56 197 阅读

Π系与λ系

在概率论中，Π 系和 λ 系都是与 σ-代数相关的概念，但它们的性质和用途不同。

概率论

统计学

并集

原创 2024-09-24 14:10:42 308 阅读

往证是什么意思

往证”的思路是一种反证法的应用，通过假设反面情况并推导出矛盾，来证明原命题的正确性。它在许多数学证明中是一个强有力的工具。

统计学

概率论

原创 2024-09-24 14:10:36 120 阅读

混合高斯模型

对于每个高斯分布的均值（mean）的计算，通常使用一种称为“期望最大化”（Expectation-Maximization，EM）算法来进行。在混合高斯模型中，假

混合高斯

后验概率

混合高斯模型

权重

原创 2024-09-11 14:16:14 58 阅读

简单理解数学中的上确界

上确界（supremum）是指一个集合中所有元素的最小上界，并不一定是集合中的最大值。如果集合中存在最大值，那么上确界和最大

统计学

原创 2024-09-10 10:27:14 257 阅读

上下极限与上下确界的区别

统计学

原创 2024-09-10 10:27:13 48 阅读

潜在因子模型（Latent Factor Model）差分隐私+拉普拉斯噪声证明

潜在因子模型（Latent Factor Model）是一种用于矩阵分解的模型，它将数据矩阵分解为两个

算法

机器学习

人工智能

数据集

原始数据

原创 2023-04-20 06:39:47 80 阅读

潜在因子模型+拉普拉斯噪声差分隐私

在Latent Factor Models中添加拉普拉斯噪声的方式通常是在目标函数中引入拉普拉斯噪声，使得每个元素都有一定的概率被扰动。具体来说，我们可以使用全局敏感度来度量添加的噪声对目标函数

多元统计分析

潜在因子模型

算法

多元统计

数据集

原创 2023-04-19 17:54:25 156 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx643f9233bab0e的博客

Mahalanobis distance 马哈拉诺比斯距离

Wasserstein距离

1-Lipschitz函数

Expectation-Maximization Algorithm（EM算法）

Jensen-Shannon散度（JS散度）

算法收敛的一些证明方法与案例

证明算法(参数估计)满足大样本性质

从分布 P 中抽取随机变量 X的期望值

算法的收敛速度计算过程

超平面法向量和固定随机特征方向

过采样和欠采样

异常值理解

箱线图识别异常值的方法

高维空间的维数灾难问题

高维数据和超高维数据

铰链损失函数

逆概率加权

Π-系上的最小 d-系等于 Π-系上的最小集代数

逆概率加权（R和Python案例）

一个证明-待验证

模型分割与模型分片

术语“in law”（在分布上）

集合的子集类

Π系与λ系

往证是什么意思

混合高斯模型

简单理解数学中的上确界

上下极限与上下确界的区别

潜在因子模型（Latent Factor Model）差分隐私+拉普拉斯噪声证明

潜在因子模型+拉普拉斯噪声差分隐私

欢迎