GBDT的特征重要性排序原理 gbdt特征处理

转载

lingyuli 2024-08-30 21:51:32

CatBoost = Category + Boosting
2017年7月21日，俄罗斯Yandex开源CatBoost，亮点是在模型中可直接使用Categorical特征并减少了tuning的参数。

建树的过程

初步计算splits
对每个数值特征二值化，选择可能的分桶方式，结果用于选择树结构。binarization method (feature_border_type) 和number of buckets (border_count) 参数设置在初始参数中。
将categorical特征转化为numerical特征
(也可以使用one-hot编码)
有以下三步：
(1). 随机重排输入对象；
(2). 将target从浮点数转换为整数 (Regression/ Classification/ Multiclassification不同)；
(3). 将categorical特征转化为numerical特征 (与初始参数有关)：

Borders:
计算第i个Bucket的ctr ()，countInClass是target超过当前对象i的次数(按照随即重排后的顺序)，totalCount是到当前对象为止的匹配次数，prior是初始参数(常数)。
Buckets:
计算第i个Bucker的ctr()，countInClass是target和当前对象相等的次数，totalCount和prior同上。
BinarizedTargetMeanValue:
countInClass是当前cat的target总数和最大target总数的比，totalCount和prior同上。
Counter:
curCount是训练集中具有当前特征的对象总数，maxCount是训练集中最大对象总数，prior同上。对于测试集，curCount取决于选择的计算方法：PrefixTest (具有当前特征的训练集中的对象数和到目前为止的测试集中的对象数)，FullTest (具有当前特征的训练集和测试集中的对象数)，SkipTest (具有当前特征的训练集中的对象数)。maxCount取决于选择的计算方法：PrefixTest (训练集和到目前为止测试集中的对象)，FullTest (训练集和测试集)，SkipTest (训练集)。prior同上。