数据处理工具记录【二】—— 回归选择和训练模型线性回归模型普通线性回归多项式回归岭回归套索回归（Lasso）弹性网络逻辑回归Softmax回归（多元逻辑回归）总结SVM回归决策树模型随机森林模型交叉验证微调模型网络搜索随机搜索分析最佳模型及其错误通过测试集评估系统早期停止法 选择和训练模型线性回归模型普通线性回归from sklearn.linear_model import LinearReg
转载
2024-05-15 06:50:38
97阅读
模型微调1.网格搜索
微调的一种方法是手工调整超参数，直到找到一个好的超参数组合。这么做的话会非常冗长，你也可能没有时间探索多种组合。 你应该使用 Scikit-Learn 的 GridSearchCV 来做这项搜索工作。你所需要做的是告 诉GridSearchCV 要试验有哪些超参数，要试验什么值， GridSearchCV 就能用交叉验证试验所有可能超参数值的组合。例如，下面的代码搜索了 Ra
在本篇博文中，我们将深入探讨如何使用 Python 的支持向量回归（SVR）算法进行网格调参。我们将审视从环境配置到定制开发的各个步骤，确保我们能够高效地优化参数。
## 环境配置
在开始之前，首先要配置好相关的开发环境。我们需要确保安装了必要的库和工具。在这里，我为你准备了一个思维导图，以帮助你理解环境配置的逻辑。
```mermaid
mindmap
root
环境配置
一、for循环实现的网格搜索（带交叉验证）原理：在多个参数上使用for循环，对每种参数组合分别训练并评估一个分类器。以SVC为例：from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
#加载数据
iri
转载
2023-11-23 16:11:02
331阅读
网格计算概述
网格计算是伴随着互联网技术而迅速发展起来的，专门针对复杂科学计算的新型计算模式。这种计算模式是利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”，其中每一台参与计算的计算机就是一个“节点”，而整个计算是由成千上万个“节点”组成的“一张网格”， 所以这种计算方式叫网格计算。这样组织起来的“虚拟的超级计算机”有两个优势，一个是数据处理能力超强；另一个是能充分利
转载
2024-08-26 20:22:36
72阅读
# 决策树网格调参
在机器学习中，决策树是一种常用的分类和回归算法。决策树模型可以通过学习数据集中的规则，构建一棵树状结构，用于预测未知数据的标签或目标值。然而，决策树模型往往需要调整一些超参数，以提高模型的性能和泛化能力。本文将介绍如何使用网格调参方法来优化决策树模型。
## 决策树简介
决策树是一种基于树状结构的监督学习算法。它通过对特征进行递归分割，构建一棵树，每个叶节点表示一个类别或
原创
2023-08-11 16:29:11
137阅读
在使用Python进行机器学习模型构建时，随机森林因其性能和灵活性受到广泛关注。随机森林的超参数调优（即网格调参）是确保模型在特定任务中表现最佳的关键步骤。本篇文章将详细探讨如何进行“Python随机森林网格调参”的整个过程。
### 问题背景
在机器学习项目中，模型的性能直接影响业务决策和最终成果。例如，在金融领域，风险预测模型的准确性对于减少损失至关重要。而在医疗领域，模型对疾病识别的准确
# Python数据分析lgb 网格调参实现流程
在进行Python数据分析中，使用lgb（LightGBM）进行网格调参是一项常见任务。本文将介绍如何实现这个过程，帮助刚入行的小白快速上手。
## 流程概述
下面是整个实现过程的流程图：
```mermaid
gantt
dateFormat YYYY-MM-DD
title Python数据分析lgb 网格调参实现流程
原创
2023-10-26 10:43:05
21阅读
一：线性回归算法：1.模型的介绍在线性回归中，我们建立模型，来拟合多个子变量x（机器学习中成为特征）与一个因变量y之间的关系，y的范围不是离散的，所以这是一个回归问题。线性回归模型，就是 y=w*x+b 我们的目的就是求得一组权重w，使得它与X的点积与真实的y值更加接近。2.损失函数接下来我们想如何让y的真实值与预测值更加接近，或者说怎么表示这个差距，很明显就
转载
2024-03-26 12:45:45
153阅读
回归简单线性回归数据预处理利用sklearn.linear_model中的LinearRegression类运用类创建regressor回归器对象利用训练集拟合回归器，也即是机器“学习”的过程利用拟合好的回归器预测测试集将结果可视化简单线性回归代码import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
from
转载
2024-08-05 16:48:49
57阅读
## python lightGBM回归模型
### 介绍
LightGBM是一种高效的梯度提升框架，常用于解决分类和回归问题。它基于决策树算法，具有快速训练速度和高准确性的特点。本文将介绍如何使用Python中的LightGBM库构建一个回归模型。
### 算法原理
LightGBM使用了一种称为“基于直方图的决策树”的算法来构建模型。它通过将特征值分为离散的bin，然后基于这些bin进
原创
2023-09-06 10:30:11
524阅读
简单介绍原因：普通的RNN（Recurrent Neural Network）对于长期依赖问题效果比较差，当序列本身比较长时，神经网络模型的训练是采用backward进行，在梯度链式法则中容易出现梯度消失和梯度爆炸的问题。解决：针对Simple RNN存在的问题，LSTM网络模型被提出，LSTM的核心是修改了增添了Cell State，即加入了LSTM CELL，通过输入门、输出门、遗忘门把上一时
转载
2024-04-01 11:23:29
227阅读
基本思想GBDT–Gradient Boosting (Regression) Decistion Tree GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种用于回归的机器学习算法，该算法由多棵回归决策树组成，所有树的结论累加起来做最终答案。当把目标函数做变换后，该算法亦可用于
转载
2024-05-16 12:46:08
81阅读
——————1 GMM基础高斯混合模型（GMM）指的是多个高斯分布函数的线性组合，理论上GMM可以拟合出任意类型的分布，通常用于解决同一集合下的数据包含多个不同的分布的情况。灵魂的拷问：为什么GMM可以拟合出任意类型的分布？AI大语音：不仅GMM可以，只要性质不太奇怪的混合模型一般都能近似任意分布。这个思想和泰勒展开、傅里叶变换是类似的，任何波形都可以用正弦波叠加表示，而且频率还是基频
转载
2024-04-29 12:32:23
107阅读
概率论和数理统计是一对兄弟：概率论负责在已知分布函数的情况下研究样本；数理统计负责在已知样本的情况下，反推分布函数的特性。假设我们获取了样本数据，同时知道分布函数的大概形式，只是不知道分布函数的参数，那么可以使用数理统计中的点估计方法来估计分布函数的参数。点估计包括矩估计和极大似然估计。极大似然估计是很重要的点估计方法。 GMM模型即高斯混合模型，根据大数定律，在日常生活中，很多概率事件
转载
2024-03-15 14:47:52
83阅读
一、简介支持向量机，一种监督学习方法，因其英文名为support vector machine，故一般简称SVM。通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。支持向量机建构一个或多个高维（甚至是无限多维）的超平面来分类数据点，这个超平面即为分类边界。 直观来说，好的分类边界要距离最近的训练数据点越
转载
2023-12-18 18:56:23
30阅读
线性回归 + 基础优化算法1 线性回归1.1 一个简单模型1.2 线性模型1.3 平方损失1.4 训练数据1.5 损失函数1.6 显式解2 基础优化算法2.1 梯度下降2.2 选择学习率2.3 小批量随机梯度下降2.4 选择批量大小3 线性回归的从零开始实现3.1 生成数据集3.2 读取数据集3.3 初始化模型参数3.4 定义模型3.5 定义损失函数3.6 定义优化算法3.7 训练3.8 比较参
转载
2024-05-11 20:00:29
124阅读
# 如何使用Python实现LightGBM回归模型
## 一、整体流程
下面是实现LightGBM回归模型的整体流程：
| 步骤 | 描述 |
|------|--------------------|
| 1 | 安装必要的库 |
| 2 | 导入数据集 |
| 3 | 数据预处理 |
| 4
原创
2024-07-14 05:56:02
162阅读
导读： 本文总结了一些常用的除线性回归模型之外的模型，其中包括一些单模型及集成学习器。保序回归、多项式回归、多输出回归、多输出K近邻回归、决策树回归、多输出决策树回归、AdaBoost回归、梯度提升决策树回归、人工神经网络、随机森林回归、多输出随机森林回归、XGBoost回归。保序回归保序回归或单调回归是一种将自由形式的直线拟合到一系列观测值上的技术，这样拟合的直线在所有地方都是非递减(
转载
2024-05-07 20:55:18
217阅读
具体原理不讲了，线性回归模型，代价损失函数 COST是均方误差，梯度下降方法。属性取值。模型的属性取值设置需要根据每一个参数的取值范围来确定，将所有的属性的取值统一正则化normalization，统一规定在0~1的范围，或者-1~1的范围内，这样在进行线性回归时不会造成额外的回归开销。另外，正则化的方法有很多，常见的方法就是线性正则化，这是在不知道属性对预测值的影响的前提下才这么做的。之所以进行
转载
2024-03-21 20:12:15
44阅读
