(待更新...)

离散数据的期望

离散数据的期望值是对所有可能取值的加权平均。其中权重是每个取值出现的概率。

机器学习中的概率论_取值

遍历样本空间X,假设每个样本x出现的概率为p(x),对期望的贡献是f(x),那么基于离散数据的期望可以使用一个求和符合来表示。

机器学习中的概率论_均匀分布_02

每个样本对期望的贡献为1,给定一个假设,遍历样本空间求期望。所以先遍历假设空间,再遍历样本空间。

连续数据求期望

假设你有一个连续随机变量 X,其概率密度函数为 f(x),则 X 的期望值 E(X) 可以计算如下:

机器学习中的概率论_均匀分布_03

其中,x 是随机变量 X 的取值,f(x) 是其概率密度函数。

机器学习中的概率论_概率论_04

求和符合位置的移动

在某些情况下,求和符号的位置可以移动,而在其他情况下则不行。这取决于具体的情况和数学性质。

1. 交换律和结合律:如果要对同一系列项进行求和,而这些项满足可交换性,那么求和符号的位置是可以移动的。

2. 分配律:如果求和符号与其他数学运算(如乘法)结合时满足分配律,那么求和符号的位置也是可以移动的。

机器学习中的概率论_取值_05

根据变量的作用域来移动求和符合,使后面公式中出现的变量必须在前面的求和符号中出现。

均匀分布

均匀分布(Uniform Distribution)是概率论的一种概率分布。在均匀分布中,所有可能的结果都有相等的概率出现,即每个结果出现的概率都是一样的。均匀分布可以在有限区间内或者无限区间内进行定义。

离散均匀分布: 在离散均匀分布中,随机变量可以取有限个离散的值,每个值的概率都相等。

连续均匀分布: 在连续均匀分布中,随机变量可以在一个连续的区间内取任何值,而且在这个区间内的任何子区间上的概率是相等的。

调和平均

调和平均使用了各数的倒数来计算平均值。对于一组数字 x1,x2,...,xn,它们的调和平均 H 可以通过以下公式计算:

机器学习中的概率论_取值_06

  调和平均对于较大的数值会有较大的影响。当其中一个数接近零时,它的倒数会变得非常大,从而使整个调和平均被拉低。

加权调和平均

在加权调和平均中,每个数都与一个相应的权重相乘,然后再进行调和平均的计算。可以使某些数对平均值的贡献更大,而另一些数的贡献较小。

对于一组数字 x1,x2,…,xn,以及它们对应的权重 w1,w2,…,wn,加权调和平均 W 可以通过以下公式计算:

机器学习中的概率论_取值_07

 

机器学习中的概率论_取值_08