关于多分类我们常见的逻辑回归、SVM等常用于解决二分类问题，对于多分类问题，比如识别手写数字，它就需要10个分类，同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这里讨论另外一种方式来解决多分类——SoftMax。SoftMax模型 Softmax回归模型是logistic回归模型在多分类问题上的推广，当分类数为2的时候会退化为Logistic分类。.在多分类问题中，类标签 可
单标签二分类问题单标签二分类算法原理单标签二分类这种问题是我们最常见的算法问题，主要是指label标签的取值只有两种，并且算法中只有一个需要预测的label标签；直白来讲就是每个实例的可能类别只有两种(A or B)；此时的分类算法其实是在构建一个分类线将数据划分为两个类别。常见的算法：Logistic、SVM、KNN、决策树等。Logistic算法原理单标签多分类问题单标签多分类问题其实是指待预
转载
2023-08-07 15:13:18
661阅读
元算法（meta-algorithm）是对其他算法进行组合的一种方式
AdaBoost优点：泛化错误率低，易编码，可以用用在大部分分类器上，无参数调整
缺点：对离群点敏感
适用数据类型：数值型和标称型数据
基于数据集多重抽样的分类器前面已经介绍了五种不同的分类算法，它们各有优缺点。自然可以将不同的分类器组合起来，而这种组合结果则被称为集成方法（ensemble met
转载
2024-05-08 14:09:49
55阅读
SVM算法最初是为二值分类问题设计的，当处理多类问题时，就需要构造合适的多类分类器。目前，构造SVM多类分类器的方法主要有两类：一类是直接法，直接在目标函数上进行修改，将多个分类面的参数求解合并到一个最优化问题中，通过求解该最优化问题“一次性”实现多类分类。这种方法看似简单，但其计算复杂度比较高，实现起来比较困难，只适合用于小型问题中；另一类是间接法，主要是通过组合多个二分类器
转载
2024-03-20 10:18:05
2阅读
1：以下PPT内容用于了解逻辑回归算法的数学流程，方便后面我们对算法参数的把握和了解。 注:算法的推导大致如上，主要是通过映射函数映射的0~1区间，然后求后验概率，通过极大似然法求解出目标函数（交叉熵损失函数），然后梯度下降寻优获得最佳参数。2：逻辑回归的sklearn库函数的参数总结：LogisticRegression(penalty=
XGBoost多分类预测1. 数据预处理对缺失值进行填充根据业务增加衍生变量，比如占比、分级化、TOP打横等等根据业务删除相应的指标对离散型的指标进行one-hot序列编码2. 模型选择可以进行多分类预测的模型有逻辑回归、决策树、神经网络、随机森林、xgboost，发现效果排名靠前的依次是XGBoost、随机森林、决策树3. 模型调用通过调用python相关包，对XGBoost分类模型进行参数调整
转载
2023-11-10 09:40:35
265阅读
文本分类的14种算法（6）：文本分类深度学习框架(keras)的环境配置与基本操作下面会介绍的算法属于深度学习算法，会用到keras包，代码也会做一些改动包的安装深度学习的模型一般用keras框架跑，而keras框架需要tensorflow作为基础，所以要装一下keras和tensorflow两个包，直接在pycharm里搜索和安装keras和tensorflow： File->Settin
通常，你可能通过阅读一些机器学习书籍、博客，观看相关的视频教程来学习Python与机器学习，但是，这往往并不算走了上机器学习的学习道路，因为你没有动手实现相关的模型。因此，本文将介绍利用scikit-learn实现常用的5个机器学习模型。scikit-learn库是Python中一个非常流行的机器学习库，它能够非常简单地实现常见的模型，并且代码很容易运行。引言刚开始学习的时候，你不需要了解scik
转载
2024-05-13 13:24:55
75阅读
广义来说，有三种机器学习算法1、 监督式学习工作机制：这个算法由一个目标变量或结果变量(或因变量)组成。这些变量由已知的一系列预示变量(自变量)预测而来。利用这一系列变量，我们生成一个将输入值映射到期望输出值的函数。这个训练过程会一直持续，直到模型在训练数据上获得期望的精确度。监督式学习的例子有：回归、决策树、随机森林、K – 近邻算法、逻辑回归等。2、非监督式学习工作机制：在这个算法中，没有任何
转载
2023-07-11 12:33:46
79阅读
一 . K-近邻算法(KNN)概述K最近邻(k-Nearest Neighbor，KNN)最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来，当测试对象的属性和某个训练对象的属性完全匹配时，便可以对其进行分类。但是怎么可能所有测试对象都会找到与之完全匹配的训练对象呢，其次就是存在一个测试对象同时与多个训练对象匹配，导致一个训练对象被分到了多个类的问题，基于这些问题呢，就产生了KNN。KN
转载
2023-08-16 17:44:35
61阅读
一直以来，对于机器学习领域，Python都是人们津津乐道的话题，大家知道我们在用python学习机器技术时候，用到的方法内容和一般情况下的是一样的吗？想必，了解过的小伙伴一定是知道有哪些的，不知道的小伙伴也不必担心，如果刚好你正在学习机器技术，那就来看下以下内容，对大家一定有帮助哦~一、KNN算法二、算法过程1.读取数据集2.处理数据集数据 清洗，采用留出法hold-out拆分数据集：训练集、测试
转载
2023-06-20 13:02:24
0阅读
SVM实现多分类的三种方案
SVM本身是一个二值分类器 SVM算法最初是为二值分类问题设计的，当处理多类问题时，就需要构造合适的多类分类器。 目前，构造SVM多类分类器的方法主要有两类 （1）直接法，直接在目标函数上进行修改，将多个分类面的参数求解合并到一个最优化问题中，通过求解该最优化问题“一次性”实现多类分类。这种方法看似简单，但其计算复杂度比较高，实现起来比较困难，只适合用于
转载
2023-10-11 08:17:31
75阅读
监督学习（有目标值，输入数据有特征有标签，即有标准答案） 1、分类算法（其目标值是类别） 2、回归算法（其目标值是连续型的数据） 无监督学习（无目标值，输入数据有特征无标签
转载
2023-08-08 13:22:23
95阅读
来龙去脉交代一下大概是这周二吧，我微信收到一个粉丝求助，内容是这样：粉丝他在github上找到别人写好的图片分类工具，这个软件工具支持预览图片，并将图片移动到指定目录或复制到其他目录，继而实现图片的分类整理。但是这个图片分类软件功能不够强，不支持批量图片复制/移动。所以找我帮忙，在这个代码基础上，改进一下，增加批量图片复制/移动功能。我看了github源代码，大致过了一遍代码，总结发现：使用Pyt
转载
2024-06-20 20:29:04
15阅读
监督学习和非监督学习两个方式的算法。分类算法，回归算法），无监督学习（聚类算法），这里的几种算法，主要是学习他们用来做预测的效果和具体的使用方式。 二、分类算法1）K-近邻算法 a、公式 2个样本，3个特征
a(a1,a2,a3),b(b1,b2,b3)
欧式距离：
__________________________________
转载
2023-07-25 13:35:27
166阅读
AdaBoost：Adaptive Boosting（自适应提升），是Boosting系列算法的典型代表。AdaBoost简单来讲，就是多个弱分类器，可能基于单层决策树，也可能基于其他算法；前一个弱分类器得到一个分类结果，根据它的错误率给这个分类器一个权重，还要更新样本的权重；基于这个权重矩阵，再去训练出下一个弱分类器，依次循环，直到错误率为0或者收敛，就得到了一系列弱分类器；将这些弱分类器的结果
转载
2024-01-31 11:15:15
104阅读
在处理多分类问题的时候会用到一个叫做softmax的分类器，是用来将输出结果划归到[0,1]的，本讲将主要从softmax分类器入手来实现多分类问题。在前一章我们对糖尿病模型进行了二分类，二分类问题中只需要输出一个概率，另外的一个概率通过用1来减即可获得。但多分类需要输出多个概率。本次我们采用MNIST手写数字数据集，首先我们来看一下如果有十个分类那他们的输出该是什么样的。若有十个分类，那这10个
转载
2023-10-11 15:13:23
322阅读
1评论
1、KNN分类算法KNN分类算法（K-Nearest-Neighbors Classification），又叫K近邻算法，是一个概念极其简单，而分类效果又很优秀的分类算法。他的核心思想就是，要确定测试样本属于哪一类，就寻找所有训练样本中与该测试样本“距离”最近的前K个样本，然后看这K个样本大部分属于哪一类，那么就认为这个测试样本也属于哪一类。简单的说就是让最相似的K个样本来投票决定。
KNN
转载
2024-04-24 19:36:37
30阅读
混淆矩阵什么是混淆矩阵(Confusion Matrix)？我们在做分类问题时会用到机器学习分类模型，不管是二分类还是多分类问题，我们都要对模型的性能进行评估，看看模型的分类效果是否好，有多好！我们常常会选择一个合适的评估指标进行衡量，比如我们熟悉的ACC，AUC，F1-score，召回率等等，而混淆矩阵也是和它们一样的功能，混淆矩阵可以直观的展示我们分类器对每个样本的分类情况，知道有哪些类别分正
转载
2024-04-24 15:21:58
44阅读
SVM本身是一个二值分类器，SVM算法最初是为二值分类问题设计的，当处理多类问题时，就需要构造合适的多类分类器。1、直接法：直接在目标函数上进行修改，将多个分类面的参数求解合并到一个最优化问题中，通过求解该最优化问题“一次性”实现多类分类。这种方法看似简单，但其计算复杂度比较高，实现起来比较困难，只适合用于小型问题中。以Weston在提出的多值分类算法为代表，在经典SVM理论的基础上重新构造多值分
转载
2024-01-31 11:27:29
62阅读
