最近我们被客户要求撰写关于生态学建模的研究报告，包括一些图形和统计输出。 相关视频：R语言生存分析原理与晚期肺癌患者分析案例
R语言生存分析Survival analysis原理与晚期肺癌患者分析案例 ，时长08:41引言本文是一个简短的教程，在R中拟合BRT（提升回归树）模型。我们的目标是使BRT（提升回归树）模型应用于生态学数据，并解释结果。本教程的目的是帮助你学习如何在R中开
转载
2024-09-10 09:37:03
22阅读
简介：GBDT 的全称是 Gradient Boosting Decision Tree，梯度提升树，在传统机器学习算法中，GBDT算的上TOP3的算法。想要理解GBDT的真正意义，那就必须理解GBDT中的Gradient Boosting 和Decision Tree分别是什么？ 1. Decision Tree：CART回归树 首先，GBDT使用的决策树是CART回归树，无论是处理
转载
2024-04-18 13:57:03
74阅读
Tensorflow线性回归开发流程： 1.准备好相关数据的 特征值和目标值 2.建立模型，随机初始化准备一个权重w，一个偏置b，模型的参数必须用变量去命名 3.求损失函数，还有相关的均方误差 4.梯度下降去优化损失过程 指定学习率Tensorflow运算API矩阵运算 tf.matmul(x, w)平方 tf.square(error)均值 tf.reduce_mean(error)梯度下降AP
线性回归、逻辑回归可以解决分类问题(二分类、多分类)、回归问题。主要技术点线性回归 高斯分布 最大似然估计MLE 最小二乘法的本质Logistic回归 分类问题的首选算法重要技术 梯度下降算法 最大似然估计 特征选择 交叉验证一、线性回归y=ax+b (一个变量)两个变量的情况 使用极大似然估计解释最小二乘 误差满足中心极限定理误差ε (i) (1≤i≤m)是独
转载
2024-03-30 15:38:04
43阅读
1. 首先要理解Boost和Gradient Boost。 前者是在算法开始时候，，为每一个样本赋上一个相等的权重值，也就是说，最开始的时候，大家都是一样重要的。在每一次训练中得到的模型，会使得数据点的估计有所差异，所以在每一步结束后，我们需要对权重值进行处理，而处理的方式就是通过增加错分类点的权重，这样使得某些点如果老是被分错，那么就会被“严重关注”，也就被赋上一个很高的权重。然后等
转载
2024-07-02 23:32:24
136阅读
前言
现在神经网络的运用越来越流行了，即使在结构化数据领域神经网络也随着数据量的增大而逐渐替代传统机器学习方法，能够创建一个基础的深度神经网络解决问题对一个合格的算法工程师来说变得越来越关键了。我就从一个初学者的角度出发，对我们常见的回归问题运用神经网络对和集成学习大杀器XGBoost进行预测效果对比。
气温数据集下载地址：https://pan
如果数据集的特征比样本点还多（）怎么办？是否还可以使用线性回归来做预测？答案是否定的，因为在计算 为了解决这个问题，统计学家引入了岭回归（ridge regression）的概念。简单说来，岭回归就是在矩阵 上加一个 使得矩阵非奇异，进而能对 岭回归最先用来处理特征数多于样本数的情况，现在也用于在估计中加入偏差，从而得到更好的估计。这里通过引入 $\lambda $ 限制了所有 之和，通过引
逻辑回归特征重要性查看LR模型也就是逻辑回归模型，作为一个简单的常用的模型，其有
原创
2022-07-18 15:16:08
522阅读
提升树是以决策树为基分类器的提升方法，通常使用CART树。针对不同问题的提升树学习算法，主要区别在于使用的损失函数不同。1）分类问题：指数损失函数。可以使用CART分类树作为AdaBoost的基分类器，此时为分类提升树。2）回归问题：平方误差损失函数。3）决策问题：一般损失函数。 1、提升树算法提升树采用线性模型+前向分步算法+CART树（基函数）。提升树的加法模型可表示为：（此时树前面
方法特征重要性是指特征对目标变量的影响程度，即特征在模型中的重要性程度。判断特征重要性的方法有很多，下面列举几种常用的方法：1. 基于树模型的特征重要性：例如随机森林（Random Forest）、梯度提升树（Gradient Boosting Tree）等模型可以通过计算每个特征在树模型中被使用的次数或者被用来进行分裂的重要性，来衡量特征的重要性。2. 基于线性模型的特征重要性：例如线性回归（L
转载
2023-11-11 19:55:34
713阅读
# 使用Python实现逻辑回归特征重要性排序
在数据科学和机器学习的领域中，特征重要性排序是一项不可或缺的任务，它帮助我们理解模型是如何做出预测的以及哪些特征对模型的预测最为重要。在本文中，我们将使用Python中的逻辑回归模型来进行特征重要性排序。以下是整个流程的概述，并提供具体代码示例来帮助你完成任务。
## 流程概述
首先，我们来看一下实现特征重要性排序的步骤。我们将这些步骤以表格的
入门小菜鸟，希望像做笔记记录自己学的东西，也希望能帮助到同样入门的人，更希望大佬们帮忙纠错啦~侵权立删。目录一、XGBoost简介二、XGBoost原理1、基本组成元素2、整体思路（1）训练过程——构建XGBoost模型 （2）测试过程3、目标函数（1）最初的目标函数（2）推导4、从目标函数到特征划分准则 + 叶子节点的值的确定（1）
决策树的特征重要性接上一篇print("Feature importances:\n{}".format(tree.feature_impo..
原创
2022-07-18 14:47:01
879阅读
# Python树模型特征重要性排序
## 引言
在机器学习中，了解特征的重要性对于模型的优化和理解至关重要。树模型（如决策树、随机森林等）天然支持特征重要性排序。本文将指导你使用Python实现这一功能，将整个流程分解为几个步骤，并提供代码示例和解释。
## 流程概述
以下是实现“Python树模型特征重要性排序”的步骤概览：
| 步骤 | 描述 |
|------|------|
|
原创
2024-10-08 05:34:49
51阅读
在采用决策树算法建立模型的场景中，例如GBDT、XGBoost、LightGBM、Random Forest等，我们习惯通过Feature Importance指标作为特征筛选的重要方法之一。从特征定量分析的可解释性角度来讲，这种方法实现过程方便，且评估逻辑简单，因此在决策树的实际建模场景中应用较为广泛。 针对Feature Importance的应用，虽然实践效果较好，但仍存在一定的缺点，主要体
转载
2024-04-12 11:55:45
216阅读
聊聊feature_importances_ 1 背景2 原理2.1 文字版2.2 公式版2.3 面试遇到的问题 3 Python实现3.1 解决mac下用jupyter绘图不显示中文的问题3.2 一个神奇的函数：np.argsort 4 参考 1 背景 在运用树模型建模的时候，常用的一个sklearn的子库就是看特征重要性，也就是f
转载
2024-01-04 06:06:30
142阅读
逻辑回归（Logistic Regression）是一种经典的线性分类算法。逻辑回归虽然叫回归，但是其模型是用来分类的。 让我们先从最简单的二分类问题开始。给定特征向量x=([x1,x2,...,xn])T以及每个特征的权重w=([w1,w2,...,wn])T，阈值为b，目标y是两个分类标签---1和-1。为了便于叙述，把b并入权重向量w，记作，特征向量则扩充为。（为了简便的缘故，下面
简介1. bagging 如下图所示，bagging的思想“三个臭皮匠胜过诸葛亮” ，即训练多个弱分类器，之后大家共同产生最终结果：投票表决或者平均值。 其中每个若分类器之间没有前后关联（与boosting区别），训练若分类器的前提就是随机采样。这里的抽样是有放回随机抽样（spark通过BaggedPoint实现了放回抽样的数据结构），一般每个采样集和训练集的数量一致，即每个采样集
转载
2024-07-31 18:26:10
63阅读
说起决策树，不禁想到了第一次用决策树解决问题时的场景。当时是解决机械领域一个轴承故障分类问题，效果很好，也是从那开始开始决策树走进了我的心里。当时对原理理解的不清楚，但后来学了原理之后才发现我还可以把模型改进的更好。 众所周知，决策树是一种简单高效并且具有强解释性的模型，被广泛应用于数据分析领域。在建树之前我们需要考虑一些问题，比如这棵树是怎么生成的？数中节点的位置怎么确定？根据什么进行分类等等。
转载
2024-10-12 14:36:12
99阅读
简单地说，KNN算法就是通过测量不同特征值之间的距离来对特征进行分类的一种算法。 优点：精度高、对异常值不敏感、无数据输入假定。 缺点：计算复杂度高、空间复杂度高。 适用数据范围：数值型和标称型。 工作原理：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将数据的每个特征与样本集中数据对应的特征
转载
2024-04-08 21:14:14
47阅读
