自适应权重网络

转载

mob64ca140a8e67 2024-08-09 00:14:32

文章标签 自适应权重网络权重迭代机器学习算法 文章分类 深度学习人工智能

1. AdaBoost算法简介

AdaBoost (Adaptive Boosting)并不是一种全新的机器学习算法，而是一种提升(boosting)方法或者集成学习。其主要思想是：对于复杂的任务来说，将多个分类器的结果进行综合，从而得出更为精确地结果。

2. AdaBoost模型

AdaBoost模型包括弱分类器、权重更新和分类规则，下面分别介绍

2.1 弱分类器

AdaBoost是将多个弱分类器通过一定的策略进行组合，从而得到一个强分类器的过程，如图所示。在一轮迭代过程中，被弱分类器分错的样本权值会变大，这样在下一次迭代过程中这些样本会被弱分类器“特殊关照”，如此反复，将多个弱分类器组合在一起就可以得到一个强分类器。

自适应权重网络_机器学习算法

2.2 权值更新

AdaDoost学习过程中，有两个权重，一个是所有训练集

自适应权重网络_机器学习算法_02

中的每个样本对应的权重

$w_{i}$

和每个弱分类器对应的权重

。初始时

$\alpha_{m}=\frac{1}{M}$

自适应权重网络_权重_05

分别为训练集中的数目和弱分类器的数目。AdaBoost在每次迭代过程中训练一个弱分类器

$G_{m}\left(x\right)$

，该分类器在训练数据集上的误差为：

$e_{m}=\sum_{i=1}^{N}w_{mi}I\left(G_{m}(x_{i})\ne y_{i}\right)$

根据误差更新弱分类器的权重

$\alpha_{m}=\frac{1}{2}\ln\frac{1-e_{m}}{e_{m}}$

根据误差更新每个样本的权重

$w_{mi}=\frac{w_{mi}\cdot \exp\left(-\alpha_{m}y_{i}G_{m}\left(x_{i}\right)\right)}{Z_{m}}$

其中

$Z_{m}=\sum_{i=1}^{N}w_{mi}\exp\left(-\alpha_{m}y_{i}G_{m}\left(x_{i}\right)\right)$

从上面的公式我们可以得到以下结果：

训练误差是被分错样本的权重之和
当训练误差小于0.5 时，分类器权重大于0，即分类误差越低的分类器在最终分类器中起到的作用越大
样本的权重更新可以写为

$w_{mi}=\left\{ \begin{aligned} \frac{w_{mi}}{Z_{m}}e^{-\alpha_{m}},G_{m}\left(x_{i}\right)=y_{i}\\ \frac{w_{mi}}{Z_{m}}e^{\alpha_{m}},G_{m}\left(x_{i}\right)\ne y_{i} \end{aligned} \right.$

由此可知，分对的样本权重减小，分错的样本权重增加。

AdaBoost训练代码如下,采用列表来存储分类器和其权重，每次更新在列表中添加一个（权重，弱分类器）元组。

def train(self, train_data, train_label):
        if self.norm_type == "Standardization":
            train_data = preProcess.Standardization(train_data)
        else:
            train_data = preProcess.Normalization(train_data)

        train_label = np.expand_dims(train_label, axis=1)
        sample_num = len(train_data)

        weak_classifier = []

        # initialize weights
        w = np.ones([sample_num, 1])
        w = w/sample_num

        # predictions
        agg_predicts = np.zeros([sample_num, 1]) # aggregate value of prediction

        # start train
        for i in range(self.iterations):
            base_clf, error, base_prediction = self.baseClassifier(train_data, train_label, w)
            alpha = self.updateAlpha(error)
            weak_classifier.append((alpha, base_clf))

            # update parameters in page of 139 Eq.(8.4)
            expon = np.multiply(-1 * alpha * train_label, base_prediction)
            w = np.multiply(w, np.exp(expon))
            w = w/w.sum()

            # calculate the total error rate
            agg_predicts += alpha*base_prediction
            error_rate = np.multiply(np.sign(agg_predicts) != train_label, np.ones([sample_num, 1]))
            error_rate = error_rate.sum()/sample_num

            if error_rate == 0:
                break
            self.classifier_set = weak_classifier
        return weak_classifier