一、总结
一句话总结：
开发过拟合的模型。
基于模型在验证数据上的性能来进行模型正则化与调节超参数
1、广泛使用的分类指标ROC AUC 就不能被直接优化？
优化 ROC AUC 的替代指标：因此在分类任务 中，常见的做法是优化 ROC AUC 的替代指标，比如交叉熵。一般来说，你可以认为交叉熵越小， ROC AUC 越大。
2、为模型选择正确的最后一层激活和损失函数？
二分类问题：sigmoid：binary_crossentropy
多分类、单标签问题：softmax：categorical_crossentropy
多分类、多标签问题：sigmoid：binary_crossentropy
回归到任意值：无：mse
回归到 0~1 范围内的值：sigmoid：mse 或 binary_crossentropy
3、机器学习中无处不在的对立是优化和 泛化的对立？
模型必须先过大或者过小：理想的模型是刚好在欠拟合和过拟合的界线上，在容量不足和容量过大的界线上。 为了找到这条界线，你必须穿过它。
4、要搞清楚你需要多大的模型，就必须开发一个过拟合的模型？
(1) 添加更多的层。
(2) 让每一层变得更大。
(3) 训练更多的轮次。
5、模型正则化与调节超参数？
添加 dropout。
尝试不同的架构：增加或减少层数。
添加 L1 和 / 或 L2 正则化。
尝试不同的超参数（比如每层的单元个数或优化器的学习率），以找到最佳配置。
（可选）反复做特征工程：添加新特征或删除没有信息量的特征。
6、每次使用验证过程的反馈来调节模型，都会将有关验证过程的信息泄露到模型中？
验证数据集迭代过多次会导致信息泄露：如果只重复几次，那么无关紧要；但如果系统性地迭代许多次，最终会导致模型对验证过程过 拟合（即使模型并没有直接在验证数据上训练）。这会降低验证过程的可靠性。
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
