• 我们做分类算法训练时，如果训练集里的各个类别的样本数量不是大约相同的比例，就需要处理样本不平衡问题。也许你会说，不处理会怎么样呢？如果不处理，那么拟合出来的模型对于训练集中少样本的类别泛化能力会很差。
  • 如何解决这个问题呢？一般是两种方法：权重法或者采样法。
  • 权重法是比较简单的方法，我们可以对训练集里的每个类别加一个权重class weight。如果该类别的样本数多，那么它的权重就低，反之则权重就高。如果权重法做了以后发现预测效果还不好，可以考虑采样法。
  • 采样法常用的也有两种思路，一种是对类别样本数多的样本做欠采样, 比如训练集里A类别样本占90%，B类别样本占10%。那么我们可以对A类的样本欠采样，直到欠采样得到的A类样本数和B类别现有样本一致为止，这样我们就只用欠采样得到的A类样本数和B类现有样本一起做训练集拟合模型。
  • 第二种思路是对类别样本数少的样本做过采样, 还是上面的例子，我们对B类别的样本做过采样，直到过采样得到的B类别样本数加上B类别原来样本一起和A类样本数一致，最后再去拟合模型。
  • 上述两种常用的采样法很简单，但是都有个问题，就是采样后改变了训练集的分布，可能导致泛化能力差。所以有的算法就通过其他方法来避免这个问题，比如SMOTE算法通过人工合成的方法来生成少类别的样本。方法也很简单，对于某一个缺少样本的类别，它会随机找出几个该类别的样本，再找出最靠近这些样本的若干个该类别样本，组成一个候选合成集合，然后在这个集合中不停的选择距离较近的两个样本，在这两个样本之间，比如中点，构造一个新的该类别样本。举个例子，比如该类别的候选合成集合有两个样本(x1,y),(x2,y),那么SMOTE采样后，可以得到一个新的训练样本((x1+x2)/2,y),通过这种方法，我们可以得到不改变训练集分布的新样本，让训练集中各个类别的样本数趋于平衡。