机器学习按照方法来分类，可以分成四类，分别是：监督学习、无监督学习、半监督学习和强化学习。

1 基本概念

  • 监督学习（supervised learning）： 利用训练集数据对其进行训练得到相应的正确对应关系，从而测试集数据在得到的对应关系下进行运算得到相应的正确结果。
  • 无监督学习（unsupervised learning）： 数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。
  • 半监督学习： 在训练阶段结合了大量未标记的数据和少量标签数据。与使用所有标签数据的模型相比，使用训练集的训练模型在训练时可以更为准确，而且训练成本更低。

2 类别

  • 监督学习： 分类和回归
    最广泛被使用的分类器有人工神经网络、支持向量机、k-近邻法、高斯混合模型、朴素贝叶斯方法、决策树和径向基函数分类
    回归： 线性回归，神经网络
  • 无监督学习： 主要有K均值聚类（K-means clustering）、主成分分析（Principal components analysis）、随机森林（Random forests）
    利用聚类结果，可以提取数据集中隐藏信息，对未来数据进行分类和预测。应用于数据挖掘，模式识别，图像处理等。

3 两者的区别

  • 有监督学习方法必须要有训练集与测试样本。在训练集中找规律，而对测试样本使用这种规律。而非监督学习没有训练集，只有一组数据，在该组数据集内寻找规律。
  • 有监督学习的方法就是识别事物，识别的结果表现在给待识别数据加上了标签。因此训练样本集必须由带标签的样本组成。而非监督学习方法只有要分析的数据集的本身，预先没有什么标签。如果发现数据集呈现某种聚集性，则可按自然的聚集性分类，但不予以某种预先分类标签对上号为目的。
  • 非监督学习方法在寻找数据集中的规律性，这种规律性并不一定要达到划分数据集的目的，也就是说不一定要“分类”。

这一点是比有监督学习方法的用途要广。 譬如分析一堆数据的主分量，或分析数据集有什么特点都可以归于非监督学习方法的范畴。

  • 用非监督学习方法分析数据集的主分量与用K-L变换计算数据集的主分量又有区别。后者从方法上讲不是学习方法。因此用K-L变换找主分量不属于无监督学习方法，即方法上不是。而通过学习逐渐找到规律性这体现了学习方法这一点。在人工神经元网络中寻找主分量的方法属于无监督学习方法。