聚集偏差

一、误差平方和SSE(sum of square due to error)

$\quad$聚类将数据化分为k类，用$\{C_1,C_2,\cdots,C_k\}$表示，每一类的中心点分别为$\{m_1,m_2,\cdots,m_k\}$，则$SSE=\sum_{i=1}^k \sum_{p\in C_i}|p-m_i|^2$对于同一个数据而言，SSE值越小说明聚类效果越好。这个评价指标只需要计算每各类中心点，之后按不同类别计算每个样本与对应类别中心点的平方差即可，时间复杂度为O(n)。

二、轮廓系数法(Siluouette Coefficient)

$\quad$给出了聚类的凝聚度和分离度。对于任一样本$i$而言，所谓凝聚度，就是指样本$i$到同一类其他点的距离的平均值。假设这个簇为C，里面有n个样本，我们定义为$a=\frac{1}{n}\sum_{p\in C}distance(p,i) (p!=i)$。分离度是指样本$i$到其他簇的平均距离的最小值。假设其他簇为$\{C_i, i=1,2,\cdots,k\}$，簇大小分别为$\{n_i, i=1,2,\cdots,k\}$，则分离度$b=min(\frac{1}{n_i}\sum_{p\in C_i}distance(p,i) )$。
$\quad$可见，任意一个样本如果与当前类距离尽可能近，即a尽可能小，与其他类距离尽可能远，即b尽可能大，这样这个样本便被正确划分。我们用轮廓系数统一分离度和凝聚度，对于一个样本$i$而言，轮廓系数为$S_i=\frac{b-a}{max(a,b)}, S_i\in [-1,1]$$\quad$对于一个样本而言，轮廓系数$S$越接近于1，表明越是分类正确，接近于0，说明处于两个类的边界处，小于0，说明很可能被错误划分到其他类中了。评价当前聚类效果的好坏可以直接用每个样本的轮廓系数$S$的平均值表示，越大表示聚类效果越好。越多表示簇内距离越近，簇间距离越远。

三、CH系数法(Calinski-Harabasz Index)

$\quad$类别内部距离平方和越小越好，类别之间的距离平方和越大越好，这样CH值就是越高，CH值越高表示聚类效果越好。$CH(k)=\frac{SSB}{SSW}\frac{m-k}{k-1}$其中，m为训练样本数，k为类别数。$SSB=\sum_{j=1}^k n_j||C_j-\overline{X}||^2$，SSB表示类别之间距离的平方和，一共k个类别，每个类别均值为$C_j$，没个类中样本个数为$n_j$，所有样本平均值为$\overline{X}$，这样便可算出SSB。$SSW=\sum_{j=1}^k \sum_{i=1}^{n_j} ||x_i-C_j||^2$，即为每个样本与其所在类别均值的距离的平方和。可见SSW越小，SSB越大，则聚类效果越好。$\frac{m-k}{k-1}$表示聚类簇数越多，CH值将会降低，表明CH值目的是用尽量少的类别尽量多的样本，同时获得很好的聚类效果。