说到一致（Consistency），其实很多代价都有这个内涵，如 MSE 代价，最小化预测与标签的差值，也就是希望预测与标签能够一致。其他的代价，如 KL 散度、交叉熵代价也类似。所以一致性，是一种非常内在而本质的目标，可以让深度网络进行有效学习。
但是在半监督中，无标签数据并没有标签，因而勤劳而美丽的科研工作者们就想出了各种无需标签信息的 Consistency Regularization
原创
2021-08-13 09:21:26
184阅读
之前一篇文章简单地讲了XGBoost的实现与普通GBDT实现的不同之处，本文尝试总结一下GBDT运用的正则化技巧。
Early Stopping
Early Stopping是机器学习迭代式训练模型中很常见的防止过拟合技巧，维基百科里如下描述:
In machine learning, early stopping is a form of regularization used to avoi
转载
2016-10-31 14:19:00
183阅读
2评论
重点：目的：为了避免过拟合，降低模型的复杂度，符合奥卡姆剃刀原理使用条件：当且仅当模型表达能力过强，即有可能出现过拟合的
原创
2022-10-31 16:22:17
93阅读
什么是正则化；范数；正则化的作用；对正则化的理解；正则化与原解的关系 ...
转载
2021-10-27 21:54:00
613阅读
2评论
CONTENTSParameter Tying and Parameter SharingThus far, in this chapter, when we have discussed adding constraints or penalties to the parameters, we
原创
2022-01-11 10:11:41
381阅读
CONTENTSA central problem in machine learning is how to make an algorithm that will perform well not just on the training data, but also on new inputs. Many strategies used in machine learning are explicitly designed to reduce the test error, possibly at
原创
2021-07-28 14:09:56
345阅读
CONTENTSNoise RobustnessSection 7.4 has motivated the use of noise applied to the inputs as a dataset augmentation strategy. For some models, the addition of noise with infinitesimal variance at the input of the model is equivalent to imposing a penalt
原创
2021-07-31 15:34:54
265阅读
CONTENTSParameter Tying and Parameter SharingThus far, in this chapter, when we have discussed adding constraints or penalties to the parameters
原创
2021-08-05 11:19:17
517阅读
一.为什么需要正则化?简单来说，在使用神经网络时，为了增加模型的泛化能力，防止模型只在训练集上有效、在测试集上不够有效，我们使用正则化正则化是为了防止过拟合， 进而增强泛化能力。用白话文转义，泛化误差（generalization error）= 测试误差（test error）。也可以说是为了使得训练数据训练的模型在测试集上的表现（或说性能 performance）好不好二.正则化有哪...
原创
2021-11-10 11:47:37
676阅读
CONTENTSNoise RobustnessSection 7.4 has motivated the use of noise applied to the inputs as a dataset augmentation strategy. For some models, the
原创
2022-01-11 10:10:59
88阅读
If lamda is large then theta should be small in order to minize the cost function. Too large lamda, cause underfitting the data.
转载
2020-08-31 02:10:00
236阅读
2评论
正则化是解决高方差问题的重要方案之一，也是Reducing Overfiltering（克服过拟合）的方法。 过拟合一直是DeepLearning的大敌，它会导致训练集的error rate非常小，而测试集的error rate大部分时候很大。网络的拟合能力随之降低，这会使网络不容易过拟合到训练集。 ...
转载
2021-07-20 09:39:00
1093阅读
2评论
CONTENTSA central problem in machine learning is how to make an algorithm that will perform well not just on the training data, but also on new inputs.
原创
2022-01-11 10:12:33
118阅读
Regularization and model selection
假设我们为了一个学习问题尝试从几个模型中选择一个合适的模型。例如，我们可能用一个多项式回归模型hθ(x)=g(θ0+θ1x+θ2x2+…θkxk)，我们需要设定一个合适的阶数k，怎样才能决定这个阶数k，以使得最终模型的bias与variance之间能够达到某种平衡，或者，在locally weighted regression
转载
2015-09-25 18:56:00
230阅读
2评论
转载
2020-09-22 18:24:00
128阅读
2评论
If we have overfitting from our hypothesis function, we can reduce the weight that some of the terms in our function carry by increasing their cost. S
转载
2020-08-31 01:48:00
530阅读
2评论
1、正则化与偏差-方差分解Regularization：减小方差的策略；误差可分解为偏差，方差与噪声之和，即误差=偏差+方差+噪声之和；偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力；方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响；噪声则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界；该模型在测试集的效果比较差，这
转载
2023-11-09 14:21:23
52阅读
://.kdd.org/kdd2016/papers/files/rfp0697-chenAemb.pdf https://homes.cs.washington.edu/~tqchen/pdf/BoostedTree.pdf 【Training Loss measures how w
转载
2017-09-29 16:16:00
51阅读
2评论
**发表时间：**2020（NeurIPS 2020） **文章要点：**这篇文章提出了一个叫mixreg的方法来提高agent泛化性。大致方法就是说用多个环境训练，并且对环境做插值，这样学到的策略就会更平滑，泛化性就更好。具体的，我有两个状态，通过加权插值的方式得到一个新的状态 这里权重λ通过从贝 ...
转载
2021-10-28 10:19:00
171阅读
2评论
一、weight decay（权值衰减）正则化（regularization）：减小方差的策略。 那什么是方差呢？误差 = 偏差 + 方差 + 噪声 偏差：度量了学习算法的期望预测与真实结果之间的偏离程度，即刻画了学习算法的拟合能力； 方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响； 噪声：表达了当前任务上任何学习算法所能达到的期望泛化误差的下届。可从下图来
转载
2023-10-24 14:21:55
186阅读
