机器学习总结-sklearn参数解释实验数据集选取：1分类数据选取 load_iris 鸢尾花数据集from sklearn.datasets import load_iris
data = load_iris()
data.data[[10, 25, 50]]
data.target[[10, 25, 50]]
list(data.target_names)
list(data.fe
一、支持向量机SVC：主要调节参数：C、kernel、degree、gamma、coef0。7,8,9一般不考虑。 l， C：C-SVC的惩罚参数C，默认值1.0，C值大，对误分类的惩罚大，趋向于训练集全分对的情况，准确率高，泛化能力弱。C值小，惩罚小，允许容错，泛化能力强。 2， kernel ：核函数，默认rbf，可选‘linear’, ‘
转载
2024-04-03 12:56:23
143阅读
最近半个月一直纠结与LDA中，拔也拔不出来，有很多的东西我自己是不太理解的，现在还是重新理一下思路，然后再重新来做吧。 对于评价聚类算法的好坏的评价指标： 第一是利用有分类标签的测试数据集，然后判断聚类的结果与真实的结果之间的差距。 第二是利用无分类标签的测试数据集，用训练出来的模型来跑测试数据集，然后计算在测试数据集上，所有的token似然值几何平均数的倒数，也即perplexity指标，
转载
2024-03-26 12:36:57
73阅读
在今天的博文中，我将分享有关“Python的LDA调参”方面的经验和思考。LDA（Latent Dirichlet Allocation）是一个广泛用于主题建模的算法，但实际应用中调参却成为了一个技术痛点。下面我将详细记录调参的过程。
### 背景定位
在我们项目初期，处理文本数据时，主题建模是一个亟需解决的问题。我们面临着以下技术痛点：
- **初始技术痛点**：
- 模型无法正确捕捉
online 方法setMaxIter//对迭代次数进行循环
for(i<-Array(5,10,20,40,60,120,200,500)){
val lda=new LDA()
.setK(3)
.setTopicConcentration(3)
.setDocConcentratio
转载
2024-04-18 16:04:44
36阅读
1. scikit-learn GBDT类库概述 在sacikit-learn中，GradientBoostingClassifier为GBDT的分类类， 而GradientBoostingRegressor为GBDT的回归类。两者的参数类型完全相同，当然有些参数比如损失函数loss的可选择项并不相
转载
2018-07-04 17:46:00
333阅读
2评论
在使用 `Python` 的 `scikit-learn` 进行 `RandomForestRegressor` 调参时，合理的参数配置能够显著提升模型性能。我们将通过系统化的流程帮助大家掌握这一过程。
## 环境准备
首先，确保你的开发环境配置正确。我们需要安装 `scikit-learn` 和一些其他依赖库。可以使用下面的命令进行安装。
```bash
pip install numpy
# 使用Scikit-learn调参Random Forest回归模型
## 引言
在机器学习中，合适的模型和精确的参数设置是至关重要的。Random Forest（随机森林）是一种强大的集成学习方法，它通过构建多个决策树来提高预测的稳定性和精度。本文将介绍如何使用Python中的Scikit-learn库对Random Forest回归模型进行参数调优，包括代码示例和状态图以及甘特图的可视化
支持向量机的基本思想是找到一条"线"，使得分类间距最大。一、线性分类器(线性核)很多时候由于数据不可能完全分为两类，所以需要设置一定范围，允许分类错误。即设置软间隔，在sklearn 中用超参数 C （惩罚系数)来控制这种平衡：C 比较小，即脾气较小，度量大容忍度高，其对于的软间隔就大；反之则小。1. Iris数据集试验一个线性核SVM一下为十分简单的试验# 加载包
from sklearn im
转载
2024-08-16 17:40:59
164阅读
写在前面 之前只停留在理论上，没有实际沉下心去调参，实际去做了后，发现调参是个大工程（玄学）。于是这篇来总结一下sklearn中svm的参数说明以及调参经验。方便以后查询和回忆。 常用核函数 1.linear核函数: K(xi,xj)=xTixjK(xi,xj)=xiTxj 2.polynomial
转载
2021-07-14 09:21:18
1106阅读
这篇主要记录数据建模中的线性回归的学习如何用Sklearn进行线性回归分析？这部分主要记录2个关键知识点：回顾回归模型原理与工作流程如何使用Python的Sklearn进行模型搭建什么是回归模型？ 线性回归都有哪些应用场景？保险行业 （用户的保费 赔付金额）旅游行业 （用户的出行次数 度假时长）电商行业 （用户网页停留时间 购物车的商品数量）注意：回归分析虽然是最常见的分
转载
2024-06-12 21:18:44
36阅读
写在开头：英文原文http://scikit-learn.org/stable/modules/svm.html。只是对原文做了简单的翻译，主要自己学习，能给大家提供帮助就再好不过了。************************************我是分割线************************************************1.4 支持向量机（Support V
SMOTE在处理样本不均衡问题时，一种常用的方法是使用“自动重采样”方法。这种方法通过在训练数据中多次重复某些样本来平衡样本数量。具体来说，假设你正在使用 scikit-learn，你可以使用 imblearn 库中的 SMOTE 类来解决这个问题。下面是一个使用 SMOTE 类进行自动重采样的简单示例：# 首先，导入所需的库
from sklearn.datasets import make_c
转载
2024-03-29 20:20:15
100阅读
使用NNI的scikit-learn以及Tensorflow分析
使用NNI的scikit-learn以及Tensorflow分析
一、NNI简介NNI (Neural Network Intelligence) 是自动机器学习（AutoML）的工具包。 它通过多种调优的算法来搜索最好的神经网
转载
2023-09-14 18:21:21
88阅读
1、sklearn数据集1.1 数据集划分机器学习一般的数据集会划分为两个部分 训练数据：用于训练，构建模型 测试数据：在模型检验时使用，用来评估模型是否有效1.1.1 sklearn数据集划分APIsklearn.model_selection.train_test_split功能将数组或矩阵拆分为随机的训练子集和测试子集 。输入和输出输入：1、arrays: 具有相同长度的可索引序列，x-y的
一、机器学习模型上线两种方式机器学习模型上线主要分为两种方式，一种是基于HTTP服务方式，这种方式需要在生产环境上部署相应的python环境以及相应的python机器学习包，这种方式好处在于将数据预处理部分和模型部分（保存成pkl文件）都能一起部署在HTTP服务中，缺点则是需要在生产上部署相应的python环境；而另一种方式则是通过PMML方式将机器学习模型打包给java环境使用，这种方法好处在于
转载
2024-03-17 15:33:01
29阅读
一、GridSearchCV介绍： 自动调参，适合小数据集。相当于写一堆循环，自己设定参数列表，一个一个试，找到最合适的参数。数据量大可以使用快速调优的方法 坐标下降【贪心，拿当前对模型影响最大的参数调优，直到最优，但可能获得的是全局最优】。 二、参数使用 class sklearn.model_s
转载
2019-08-07 11:07:00
579阅读
SKlearn 深度学习Sklearn简述决策树1、概述1.1 基本概念和解决问题1.2 sklearn 中决策树2. DecisionTreeClassifier 分类树2.1 重要参数2.1.1 criterion2.1.2 建立树： Sklearn简述scikit-learn ， 又写作 sklearn ，是一个开源的基于python语言的机器学习工具包，它通过 NumPy, SciOy 和
转载
2024-04-08 09:56:36
38阅读
导入：from sklearn.svm import SVC1. scikit-learn SVM算法库使用概述 scikit-learn中SVM的算法库分为两类，一类是分类的算法库，包括SVC， NuSVC，和LinearSVC 3个类。另一类是回归算法库，包括SVR， NuSVR，和LinearSVR 3个类。相关的类都包裹在sklearn.svm模块之中。 对于SVC， Nu
转载
2024-05-13 11:12:21
72阅读
需要用到的函数引入sklearn自带数据集：sklearn.datasets.make_blobs(n_samples=100, n_features=2, centers=3, cluster_std=1.0, center_box=(-10.0, 10.0), shuffle=True, random_state=None)sklearn.datasets.samples_generator.
转载
2024-07-12 15:29:06
56阅读
