分类目录:《机器学习中的数学》总目录


我们经常会需要在已知 P ( y ∣ x ) P(y|x) P(yx)时计算 P ( x ∣ y ) P(x|y) P(xy)。幸运的是,如果还知道 P ( x ) P(x) P(x),我们可以用贝叶斯定理来实现这一目的:
P ( x ∣ y ) = P ( y ∣ x ) P ( x ) P ( y ) P(x \mid y) = \frac{P(y \mid x) P(x)}{P(y)} P(xy)=P(y)P(yx)P(x)

注意到 P ( y ) P(y) P(y)出现在上面的公式中,它通常使用 P ( y ) = ∑ x P ( y ∣ x ) P ( x ) P(y)=\sum_xP(y \mid x) P(x) P(y)=xP(yx)P(x)来计算,所以我们并不需要事先知道 P ( y ) P(y) P(y)的信息。

需要注意的是,在这里我们使用更紧凑的表示法,其中 P ( x , y ) P(x, y) P(x,y)是一个联合分布, P ( x ∣ y ) P(x \mid y) P(xy)是一个条件分布。这种分布可以在给定值 x = x i , y = y i x=x_i, y=y_i x=xi,y=yi上进行求值。