一、xgboost简介： 全称：eXtreme Gradient Boosting 作者：陈天奇(华盛顿大学博士) 基础：GBDT 所属：boosting迭代型、树类算法。 适用范围：分类、回归 优点：速度快、效果好、能处理大规模数据、支持多种语言、支持自定义损失函数等等。 缺点：算法参数过多，调参
转载
2019-03-25 18:44:00
1652阅读
2评论
做梦当财神 ROC与AUC原理 在分类模型中，roc曲线和auc曲线作为衡量一个模型拟合程度的指标。分类模型评估：指标描述Scikit-learn函数PrecisionAUCfrom sklearn.metrics import precision_scoreRecall召回率from sklearn.metrics import recall_sco
01文章信息《Short-term traffic state prediction from latent structures: Accuracy vs. efficiency》。华盛顿大学2020年发在part C上的一篇文章。02摘要近年来，深度学习模型因其对复杂非线性关系的建模能力，在交通状态预测等诸多研究领域显示出良好的应用前景。然而，深度学习模型也有一些缺点，使其在某些短期流量预测应
python xgb
原创
2019-12-19 10:08:34
1708阅读
# Python XGBoost调参
## 1. 介绍
XGBoost是一种高效的、可扩展的机器学习算法，被广泛应用于数据科学和机器学习领域。调参是优化模型性能的重要步骤之一，XGBoost也需要进行调参以提高模型的准确性和泛化能力。本文将介绍如何使用Python中的XGBoost库来进行调参，并给出代码示例。
## 2. XGBoost参数
XGBoost有许多参数可以进行调整，其中一些
原创
2024-04-07 04:13:27
401阅读
SMOTE for Imbalanced Classfication with Python 文章目录SMOTE for Imbalanced Classfication with PythonImbalanced-Learn LibrarySMOTE for Balancing DataSMOTE for ClassificationSMOTE With Selective Synthetic
1. 回归模型的评估模型的评估包含三个指标：SSE(误差平方和)、R-square(决定系数)和Adjusted R-Square (校正决定系数）1.1 SSE – 误差平方和公式如下： 对同一个数据集，不同模型会有不同的SSE，SSE越小，说明模型的误差越小，准确率越高。 对不同的数据集，随着数据集的增加，误差也会增大，因此此时研究SSE没有意义。1.2 R-square – 决定系数决定系数
转载
2024-02-26 16:57:53
279阅读
回归是监督学习的一个重要问题，回归用于预测输入变量和输出变量之间的关系，特别是当输入变量的值发生变化时，输出变量的值也随之发生变化。回归模型正是表示从输入变量到输出变量之间映射的函数。一、算法的推导1.1 符号规定表示数据集第个数据的第个属性取值，数据集一共有个数据，个属性（特征）。1.2 线性回归模型模型定义为：。使用矩阵来表示就是，其中：是所要求得一系列参数，是输入的数据矩阵，因为考虑所以在第
转载
2024-03-26 10:37:21
222阅读
Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个性能更加强大的分类器，更准确说这是一种分类算法的组装方法。即将弱分类器组装成强分类器方法。一、 booststraping 是依靠你自己的资源，称为自助法，它是一种有放回的抽样方法，它是非参数统计中一种重要的估计统计量方差进而进行区间估计的统计方法（如均值、方差等）。 其核心思想和基本步骤如下：（1）采
记录pyspark学习篇，学习资料来自spark官方文档，主要记录pyspark相关内容，要么直接翻译过来，要么加上自己的理解。spark2.4.8官方文档如下： https://spark.apache.org/docs/2.4.8/ml-statistics.html 目录基本统计1.相关性1.1 导包1.2 本地向量生成方法1.2.1 生
转载
2023-10-27 00:36:32
75阅读
# 使用 PySpark 进行 MLP（多层感知器）调参
随着大数据时代的来临，分布式计算框架的兴起使得我们可以处理更大规模的数据集。Apache Spark 是一个强大的开源集群计算框架，它的 Python 接口 PySpark 提供了增强的功能。本文将重点介绍如何在 PySpark 中使用多层感知器（MLP）进行机器学习模型的参数调优，并借助可视化工具帮助理解这一过程。
## 1. 什么是
## XGBOOST模型调参 F1 R语言
在机器学习中，XGBoost是一种非常强大的梯度提升算法，它在许多比赛和实际应用中取得了很好的成绩。调参是使用XGBoost模型时非常重要的环节，合适的参数设置可以有效地提高模型的性能。本文将介绍如何在R语言中使用XGBoost模型并进行调参，以优化F1分数。
### 安装XGBoost库
在R语言中，我们可以使用`xgboost`库来实现XGBo
原创
2024-07-11 04:54:17
73阅读
引言假如现存在一个房屋价格和一些数据的关系，真实关系是：真实房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率那么现在呢，我们随意指定一个关系（猜测）随机指定关系：预测房子价格 = 0.25×中心区域的距离 + 0.14×城市一氧化氮浓度 + 0.42×自住房平均房价 + 0.34×城镇犯罪率这样会发现真实结果与我
转载
2024-03-15 10:14:49
127阅读
文章目录1. optuna简介2. LGBM和XGBoost调参汇总2.1 LGBM2.1.1 定义Objective2.1.2 调参try2.1.3 绘图2.1.4 最佳参数2.2 XGBOOST2.2.1 多大佬的回答，如下：
原创
2023-06-20 11:16:44
2784阅读
一、VectorAssemblerVectorAssembler 是一个转换器，它将给定的列列表组合成单个向量列。 它对于将原始特征和不同特征转换器生成的特征组合成单个特征向量很有用，以便训练 ML 模型，如逻辑回归和决策树。 VectorAssembler 接受以下输入列类型：所有数字类型、布尔类型和向量类型。 在每一行中，输入列的值将按指定顺序连接成一个向量。 %spark
// 特征转换 —
转载
2024-01-12 07:46:58
133阅读
起步在理论篇我们介绍了决策树的构建和一些关于熵的计算方法，这篇文章将根据一个例子，用代码上来实现决策树。实验环境操作系统： win10 64编程语言： Python3.6用到的第三方模块有：numpy (1.12.1+mkl)scikit-learn (0.19.1)数据源为了方便理解和架设，我们用理论篇中买电脑的例子：将这些记录保存成 csv 文件：RID,age,income,student,
文章目录问题描述等价的矩阵形式产生数据使用MindOpt求解器的API方法1：cell中直接输入代码运行方法2：命令行直接运行.py文件求解结果联系我们 回归分析是一种预测技术，目的是建立 自变量x（向量）和 相关变量y（标量）之间的关系。目前有七种常见的回归分析：Linear Regression线性回归（本篇）、Logistic Regression逻辑回归、Polynomial Regres
转载
2024-04-24 06:31:00
54阅读
函数声明语句：function f(x){}，其中x就是参数。参数分为两种：形参（parameter）：函数定义时圆括号里的数据。实参（arguments）；函数调用时，传给函数作为参数的数据。EMCAScript规定在调用函数时，可传入任意数量，任意类型的参数，可以不跟函数定义时传入的形参数量相对应。为什么会这样呢？原因就是，EMACAScript中的参数在内部是用一个数组来表示的，函数接收的始
转载
2023-07-08 21:31:41
86阅读
上篇《深恶痛绝的超参》已经介绍了很多实用的调参方式，今天来看一篇更有趣的跳槽方法，用ML的方式调ML的模型我们用我们熟悉的模型去调我们熟悉的模型，看到这里很晕是不是，接下来我们就看看XGBoost如何调XGBoost。
原创
2021-07-12 15:47:23
363阅读
文章目录softmax-regression-concisetorch.nn.init.normal_net.apply方法torch.tensor & torch.Tensor ?交叉熵损失函数是什么？手动实现一下我们尝试实现一下 NLLLossTORCH.NN.FUNCTIONAL.ONE_HOT softmax-regression-concisetorch.nn.init.nor
