二 机 器 学 习 二 机器学习 二机器学习
https://github.com/NLP-LOVE/ML-NLP
实现多折交叉验证
在Kaggle比赛中常用集成学习方法与机器学习中的不同∶
机器学习中的集成学习:在一个模型内部,如何使用集成学习提交单个模型的精度;
Kaggle竞赛中的集成学习:对多个模型预测结果,如何使用集成学习提交最终的精度;
√机器学习中的集成学习方法:Bagging、Boosting
https://scikit-learn.org/stable/modules/ensemble.html
√Kaggle比赛中模型集成方法:Vote、Blend、Stacking
https://mlwave.com/kaggle-ensembling-guide/
Blend / Average
- 方法:将结果进行加权
- 用途:对数值记过进行集成
Stacking
在交叉验证的过程中对模型进行多折训练,对训练集和测试集统计进行预测;
out of fold可以用来进行增加特征,也可以用来进行stacking
- 需要配合交叉验证完成
- 模型/特征多样时收益大
- 传统机器学习
1.机器如何学习
2.机器学习三要素:数据、模型、算法
3.模型的获取和改进
4.模型的评价指标和质量
5.最常用的优化算法—梯度下降法
6.线性回归
7.逻辑回归
8.朴素贝叶斯分类器
9.决策树
10.SVM—支持向量机
11.SVR—支持向量回归
12.HMM—隐马尔可夫模型
13.CRF—条件随机场
14.KNN—K邻近算法
15.K-Means
16.谱聚类
17.EM算法
18.GMM—高斯混合模型
19.PCA—主成成分分析
20.感知机和神经网络
- 传统机器学习实战
1.K邻近算法:约会网站配对、手写识别系统
2.决策树:使用决策树预测隐形眼镜类型、天池O2O优惠卷使用预测
3.朴素贝叶斯:过滤垃圾邮件、o2o
4.逻辑回归:从氙气预测病马的死亡、o2o
5.SVM:手写体识别、o2o
7.集成算法:在一个较难数据集上应用AdaBoost、o2o
8.线性回归:预测鲍鱼年龄
9.CART树:树回归和标准回归的比较、o2o
10.k-means:对地理坐标进行聚类
11.PCA:菜馆菜肴推荐系统、基于SVD的图像压缩
- 常用
1.目标函数(损失函数)详细说一下L1 与 L2
2.监督学习
3.GridSearch
- 集成学习
- 机器学习和神经网络
1.绪论:面向机器学习的神经网络
2.感知器的学习过程
3.线性/逻辑神经网络和反向传播
4.学习特征词向量
5.用神经网络进行物体识别
6.模型优化:如何加快学习
7.循环神经网络RNN
8.提高神经网络模型的泛化能力
9.结合多重神经网络提高泛化能力
10.Hopfield网络和玻尔兹曼机
11.限制玻尔兹曼机
12.深度置信网络
13.生成预训练的深度神经网络
14.神经网络的模型分层结构
15.深度神经网络的应用
实战案例:
- 房价与股市预测
- 排序与CTR预估计算广告
- KDD2013-NLP
- 能源预测与分配
- 猫狗分辨与人脸表情识别
- 电商推荐与销量预测
- 金融风控
数据分析:
- 时间序列数据分析
- 文本数据分析
- 图像数据处理及分析
- 量化分析