二 机 器 学 习 二 机器学习 二机器学习

推荐的GitHub

https://github.com/NLP-LOVE/ML-NLP

实现多折交叉验证

在Kaggle比赛中常用集成学习方法与机器学习中的不同∶

机器学习中的集成学习:在一个模型内部，如何使用集成学习提交单个模型的精度;
Kaggle竞赛中的集成学习:对多个模型预测结果，如何使用集成学习提交最终的精度;

√机器学习中的集成学习方法:Bagging、Boosting
https://scikit-learn.org/stable/modules/ensemble.html

√Kaggle比赛中模型集成方法:Vote、Blend、Stacking

https://mlwave.com/kaggle-ensembling-guide/

二 机器学习_交叉验证

Blend / Average

  • 方法:将结果进行加权
  • 用途:对数值记过进行集成

二 机器学习_集成学习_02

Stacking
在交叉验证的过程中对模型进行多折训练，对训练集和测试集统计进行预测;
out of fold可以用来进行增加特征，也可以用来进行stacking

  • 需要配合交叉验证完成
  • 模型/特征多样时收益大

二 机器学习_神经网络_03

  • 传统机器学习

1.机器如何学习
2.机器学习三要素：数据、模型、算法
3.模型的获取和改进
4.模型的评价指标和质量
5.最常用的优化算法—梯度下降法
6.线性回归
7.逻辑回归
8.朴素贝叶斯分类器
9.决策树
10.SVM—支持向量机
11.SVR—支持向量回归
12.HMM—隐马尔可夫模型
13.CRF—条件随机场
14.KNN—K邻近算法
15.K-Means
16.谱聚类
17.EM算法
18.GMM—高斯混合模型
19.PCA—主成成分分析
20.感知机和神经网络

  • 传统机器学习实战

1.K邻近算法：约会网站配对、手写识别系统
2.决策树：使用决策树预测隐形眼镜类型、天池O2O优惠卷使用预测
3.朴素贝叶斯：过滤垃圾邮件、o2o
4.逻辑回归:从氙气预测病马的死亡、o2o
5.SVM:手写体识别、o2o
7.集成算法：在一个较难数据集上应用AdaBoost、o2o
8.线性回归：预测鲍鱼年龄
9.CART树：树回归和标准回归的比较、o2o
10.k-means：对地理坐标进行聚类
11.PCA:菜馆菜肴推荐系统、基于SVD的图像压缩

  • 常用

1.目标函数（损失函数）详细说一下L1 与 L2
2.监督学习
3.GridSearch

  • 集成学习

1.分类树、回归树
2.集成学习
3.XGboost

  • 机器学习和神经网络

1.绪论：面向机器学习的神经网络
2.感知器的学习过程
3.线性/逻辑神经网络和反向传播
4.学习特征词向量
5.用神经网络进行物体识别
6.模型优化：如何加快学习
7.循环神经网络RNN
8.提高神经网络模型的泛化能力
9.结合多重神经网络提高泛化能力
10.Hopfield网络和玻尔兹曼机
11.限制玻尔兹曼机
12.深度置信网络
13.生成预训练的深度神经网络
14.神经网络的模型分层结构
15.深度神经网络的应用

实战案例：

  • 房价与股市预测
  • 排序与CTR预估计算广告
  • KDD2013-NLP
  • 能源预测与分配
  • 猫狗分辨与人脸表情识别
  • 电商推荐与销量预测
  • 金融风控

数据分析：