1、sklearn数据集1.1 数据集划分机器学习一般的数据集会划分为两个部分 训练数据：用于训练，构建模型 测试数据：在模型检验时使用，用来评估模型是否有效1.1.1 sklearn数据集划分APIsklearn.model_selection.train_test_split功能将数组或矩阵拆分为随机的训练子集和测试子集 。输入和输出输入：1、arrays: 具有相同长度的可索引序列，x-y的
不同于PCA方差最大化理论，LDA算法的思想是将数据投影到低维空间之后，使得同一类数据尽可能的紧凑，不同类的数据尽可能分散。它的数据集的每个样本是有类别输出的，投影后类间方差最大，类内方差最小LDA需要数据满足如下两个假设：原始数据根据样本均值进行分类不同类的数据拥有相同的协方差矩阵一般来说第2条很难满足，所以在实际使用中如果原始数据主要是根据均值来划分的，此时LDA降维效果很好，但是PCA效果就
转载
2024-07-05 21:39:12
78阅读
线性判别法则（Linear Discriminant Analysis)LDA是一种监督学习。也称为Fisher's linear discriminant。LDA的原理是，将带上标签的数据（点），通过投影的方法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，一簇一簇的情况，相同类别的点，将会在投影后的空间中更接近。要说明白LDA，首先得弄明白线性分类器 因为LDA是一种线性分类器。对
转载
2024-04-01 12:03:11
167阅读
LDA
LDA 是一种经典的线性学习方法。在二分类问题上，其目标是找到一个投影方向，使得按照此投影方向投影后，同类样例的投影点尽可能近，而非同类样例的样本点尽可能远。在多分类问题上（设类别数为 C），同样可以按照上述思想进行推导。值得注意的是，在二分类问题上，投影后的样本点的维度为 1， 而在多分类问题上，至多可以找到 C-1 个正交的投影方向，即投影后的样本点的维度可以为 [1,C-1],这可能
转载
2024-05-19 10:21:27
27阅读
具体算法公式啥的这里就不赘述啦，大家就自行学习理解叭，我们今天主要是说如何使用sklearn包来实现GBDT以及简单的调参演示，话不多说上代码~1、导入各种包import pandas as pd
import seaborn as sns
from sklearn.model_selection import train_test_split
from sklearn.model_select
转载
2024-03-27 09:39:03
65阅读
# 使用Python的Scikit-learn进行多分类任务
随着机器学习的发展，多分类任务在各种应用中变得越来越常见，如文本分类、图像识别等。Python的Scikit-learn库提供了丰富的工具和算法，帮助我们解决多分类问题。本文将通过代码示例介绍如何使用Scikit-learn进行多分类任务，并提供一些相关的可视化图表。
## 什么是多分类任务？
多分类任务是指在给定输入数据的情况下
一、任务区分多分类分类任务：在多分类任务中，每个样本只能被分配到一个类别中。换句话说，每个样本只有一个正确的标签。例如，将图像分为不同的物体类别，如猫、狗、汽车等。多标签分类任务：在多标签分类任务中，每个样本可以被分配到一个或多个类别中。换句话说，每个样本可以有多个正确的标签。例如，在图像标注任务中，一张图像可能同时包含猫和狗，因此它可以同时被分配到 "猫" 和 "狗" 这两个标签。二、sklea
机器学习常见的分类器算法有:逻辑回归LR 支持向量机SVM 决策树DT 随机深林RF 贝叶斯算法Bayes起初设计的目的多是针对二分类问题，而我们在实际应用中总会遇到多分类问题,应该如何实现.常见的几种方法：（1）直接法，直接在目标函数上进行修改，将多个分类面的参数求解合并到一个最优化问题中，通过求解该最优化问题“一次性”实现多类分类。这种方法看似简单，但其计算复杂度比较高，实现起来比较困难，只适
转载
2023-12-16 12:00:35
104阅读
论文看了前三个section, 然后搜资料发现了些不错的。------------------------------------------------------------------------------------------------------------------------------------------一、预备知识：  
Gradient boosting decision tree（使用的基分类器是CART回归树，不适用CART分类树）介绍：首先gbdt 是通过采用加法模型（即基函数的线性组合），以及不断减小训练过程产生的残差来达到将数据分类或者回归的算法。GBDT训练过程gbdt通过多轮迭代,每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差基础上进行训练。对弱分类器的要求一般是足够简单，并且是低方差和高
转载
2024-03-06 23:04:14
46阅读
逻辑回归（Logistic Regression）原理是一种用于解决二分类（0或1）问题的统计学习方法。虽然名字中包含了“回归”二字，但实际上它是一种分类方法，只是其数学实现上借鉴了回归的思想。以下是逻辑回归的主要原理：模型假设： 逻辑回归假设因变量（即要预测的目标变量）服从伯努利分布（Bernoulli distribution），即对于给定的输入x，输出y的概率为p，则1-p为y不发生的概率。
转载
2024-10-06 14:10:04
125阅读
# -*- coding: utf-8 -*-#-----------------------------------------------------------------------------------------------------------------------__Author__ = 'assasin'__DateTime__ = '2020/1/4 19:23'#---
原创
2022-11-25 12:08:06
109阅读
1 概述1.1 集成算法概述集成学习（ensemble learning）是时下非常流行的机器学习算法，它本身不是一个单独的机器学习算法，而是通 过在数据上构建多个模型，集成所有模型的建模结果。基本上所有的机器学习领域都可以看到集成学习的身影，在 现实中集成学习也有相当大的作用，它可以用来做市场营销模拟的建模，统计客户来源，保留和流失，也可用来预 测疾病的风险和病患者的易感性。在现在的各种算法竞赛
转载
2024-05-05 14:01:23
265阅读
SVM算法最初是为二值分类问题设计的，当处理多类问题时，就需要构造合适的多类分类器。one-against-one和one-against-all两种。a.一对多法（one-versus-rest,简称1-v-r SVMs, OVR SVMs）。训练时依次把某个类别的样本归为一类,其他剩余的样本归为另一类，这样k个类别的样本就构造出了k个SVM。分类时将未知样本分类为具有最大分类函数值的那类
转载
2023-11-29 13:35:53
57阅读
上一节讲了决策树，一般来说，决策树是随机森林的基评估器，所以这章介绍随机森林。集成学习集成学习（ensemble learning）是时下非常流行的机器学习算法，它本身不是一个单独的机器学习算法，而是通过在数据上构建多个模型，集成所有模型的建模结果。常见的集成学习框架有三种：Bagging，Boosting 和 Stacking（这里就不介绍了）。三种集成学习框架在基学习器的产生和综
转载
2024-03-19 20:59:56
150阅读
LDA整体流程先定义一些字母的含义：文档集合D，topic集合TD中每个文档d看作一个单词序列< w1,w2,…,wn >，wi表示第i个单词，设d有n个单词。（LDA里面称之为word bag，实际上每个单词的出现位置对LDA算法无影响）D中涉及的所有不同单词组成一个大集合VOCABULARY（简称VOC）LDA以文档集合D作为输入（会有切词，去停用词，取词干等常见的预处理，略去不表
转载
2024-01-08 18:18:29
190阅读
上一篇博文介绍了使用imageai通过五行代码来实现图像分类的问题，如果不使用imageai，使用keras和tensorflow如何灵活的训练图片多分类问题呢，其实imageai也是基于keras api封装的图像识别库。 python，tensorflow，keras等库的安装参见上一篇博文的环境搭建部分：开发环境搭建 &nbs
转载
2024-06-04 08:30:29
63阅读
机器学习入门——直接调用sklearn实现几种简单算法 刚学习机器学习，希望大佬们勿喷，望指点 几种分类算法针对鸢尾花数据的分析1. LR线性回归分类算法# 引入数据集，sklearn包含众多数据集from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.linear
转载
2024-09-10 14:48:23
41阅读
分类算法之逻辑回归逻辑回归（Logistic Regression），简称LR。它的特点是能够是我们的特征输入集合转化为0和1这两类的概率。一般来说，回归不用在分类问题上，因为回归是连续型模型，而且受噪声影响比较大。如果非要应用进入，可以使用逻辑回归。了解过线性回归之后再来看逻辑回归可以更好的理解。优点：计算代价不高，易于理解和实现缺点：容易欠拟合，分类精度不高适用数据：数值型和标称型逻辑回归对于
转载
2024-03-25 10:24:32
215阅读
原理： 线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的监督学习的数据降维方法，也叫做Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法 ，它是在1996年由Belhumeur引入模式识别
