classification_协方差矩阵

 

 

这样会认为class 1 ,class 2 接近,有某种关系
但实际没有,那么multiple class 没有好的结果

 

理想的方法

classification_协方差矩阵_02

 

 classification_数据_03

 classification_数学公式_04

 

 

下面计算各个概率

classification_最大似然估计_05

 

 classification_过拟合_06

 

 classification_数据_07

D:维度。下面的D=2

 

classification_数据_08

 

 

 

classification_数据_09

 

 

 

classification_最大似然估计_10

 

最大似然估计

每一个高斯分布都有可能产生这79个点

 

 classification_过拟合_11

 

 

 classification_最大似然估计_12

 

 

 

 

classification_数学公式_13

 

 

 

classification_数据_14

 

 

 上面标明,结果不好。那么进行修改model

 

协方差矩阵与feature size 的平方成正比
model参数多,variance 就会大,那么容易过拟合
故意用一个协方差矩阵,则需要less feature

classification_协方差矩阵_15

 

 

 

 

classification_最大似然估计_16

 

 

 u1,u2的计算和之前算的一样,如u1 : x1......x79的均值

修改后准确率提高

classification_数学公式_17

 

 

 总结需要下面3步

classification_最大似然估计_18

 

 

 

classification_过拟合_19

 

 

 

Sigmod 函数

classification_数学公式_20

 

 

 下面是数学公式变形

classification_数据_21

 

N1:class 1 占有的数目

 

 

 classification_数学公式_22

 

 

 

 

classification_过拟合_23

 

 其实z=wx+b

w:vector b:const

classification_数学公式_24