xgboost

过拟合问题比较大。

CSDN机器学习笔记十 Xgboost_csdn

CSDN机器学习笔记十 Xgboost_python_02

E(x,y)


期望值


CSDN机器学习笔记十 Xgboost_过拟合_03

CSDN机器学习笔记十 Xgboost_csdn_04

CSDN机器学习笔记十 Xgboost_机器学习_05

惩罚项：
CSDN机器学习笔记十 Xgboost_机器学习_06

CSDN机器学习笔记十 Xgboost_过拟合_07

CSDN机器学习笔记十 Xgboost_csdn_08

CSDN机器学习笔记十 Xgboost_过拟合_09

CSDN机器学习笔记十 Xgboost_过拟合_10

CSDN机器学习笔记十 Xgboost_csdn_11

CSDN机器学习笔记十 Xgboost_csdn_12

pip install xgboost有问题的话：
到​​​http://www.lfd.uci.edu/~gohlke/pythonlibs/#xgboost​​下载

CSDN机器学习笔记十 Xgboost_python_13

CSDN机器学习笔记十 Xgboost_过拟合_14

CSDN机器学习笔记十 Xgboost_python_15

CSDN机器学习笔记十 Xgboost_机器学习_16

参数：

xgb1=XGBClassifier(
learning_rate=0.1,
n_estimators=1000,
max_depth=5,
min_child_weight=1,
gamma=0,
subsample=0.8,
cosample_bytree=0.8,
objective='binary:logistic',
nthread=4,
scale_pos_weight=1,
seed=27)