李宏毅机器学习——无监督学习(一)

引言

本文主要探讨无监督学习的线性方法(Linear Methods)。

聚类

把很多不同的图像，根据它们的相似度分成不同的组（类别），问题是要分成多少个组。

最常用的方法有：

K-means

• 聚类$N$个数据$X=\{x^1,\cdots,x^n,x^N\}$到$K$个组
• 初始化$K$个分组中心点:$c^i,i=1,2,\cdots,K$,可以从$X$中随机$K$个点出来
• 重复

• 对$X$中的所有数据$x^n$：如果$x^n$最接近$c^i$,那么$x^n$就属于$c^i$，同时令$b^n_i=1$；否则令$b^n_i=0$
• 更新所有的中心点$c^i = \sum_{x^n}b^n_ix^n/\sum_{x^n}b^n_i$

层次凝聚聚类算法(Hierarchical Agglomerative Clustering,HAC)

• 步骤一：建一个树

假设有5个样本，这种方法怎么聚类呢，首先把这5个样本相互之间计算相似度，然后选择最相似的两个合并成一个新的样本6。现在只剩下4个样本了，再计算之间的相似度，把最相似的两个数据合并起来，这里假设是4,5合并成了7。同理，最后只剩2个样本8和7。它们之间有共同的父节点root。

• 步骤二：选取一条分割线(threshold)

假设像上面这样切一刀，那么就得到三个分组。

降维(Dimension Reduction)

假设你的数据从三维空间看是长这样的，但是用三维来描述它是不必要的。可以通过二维的图像来描述它。

比如在MNIST的手写数字识别中，一个图像有28*28的。实际上其中大多数像素点代表的东西并不是数字，可能是空白啥的。
一个极端的例子是把数字三按不同的角度进行旋转。

只要知道其中一幅图像和它的角度，就可以知道其他图像。

那怎么做降维呢。

还是要找到一个函数，它的输入是向量$x$，输出是向量$z$，其中$z$的维度必须必$x$小。

其中最简单的方法是特征选择(Feature selection)

最简单的情况是，$x_1$这个维度的特征完全没用，我们就可以直接只选择$x_2$这个维度。但是这种情况比较罕见。通常每个维度或多或少都有一定的作用。

有一种常见的方法叫主成分分析(Principle component analysis,PCA)

这个$z=Wx$是个很简单的线性函数，输入$x$和输出$z$之间的关系，就是一个线性的转换。
现在要做的事情就是根据很多输入，找出这个$W$。

假设我们要降到1维的情况。此时$z$就是一个标量,$W$是行向量：

$z_1=w^1 \cdot x$ ,$w^1$表示$W$的第一行，我们把$x$与$w^1$做内积，得到$z_1$

假设$w^1$的长度是1，$||w^1||_2=1$

意味着$z_1$是$x$在$w^1$上的投影。

现在问题是应该选哪个$w^1$

假设上图中的每个点代表一只宝可梦，横坐标是攻击力，纵坐标是防御力。把二维投影到一维，应该要选什么样的$w^1$呢

上图的两个带箭头的直线代表两个不同的$w^1$,我们希望经过投影后得到的$z_1$分布越大越好。即经过投影后还能保持数据点之间的区别。

在上面的例子中，可以看出如果选择红线，点的分布会大一点。

选择的$w^1$可能是具有具体意义的，比如这里这个$w^1$代表宝可梦的强度。

如果用式子来表示的话，就是需要最大化$z_1$的方差：

$Var(z_1) = \sum_{z_1} (z_1 - \overline{z_1})^2$

如果想投影到二维的平面上，这是把$x$和另外的$w^2$做内积可以得到$z_2$。

首先$w^2$的长度也是1。

$Var(z_2) = \sum_{z_2} (z_2 - \overline{z_2})^2$

同时也要最大化$z_2$。但是如果仅仅是这样那不就和找$w^1$的做法是一样的，因此这里需要增加一点东西，我们限制$w^1\cdot w^2 = 0$，即它们之间的内积是0。

参考

1. ​​李宏毅机器学习​​