支持向量机（Support Vector Machine）名字听起来很炫，功能也很炫，但公式理解起来常有眩晕感。所以本文尝试不用一个公式来说明SVM的原理，以保证不吓跑一个读者。理解SVM有四个关键名词：分离超平面、最大边缘超平面、软边缘、核函数。
分离超平面（separating hyperplane）：处理分类问题的时候需要一个决策边界，好象楚河汉界一样，在界这边我们判别A，在界那边我们判别
1.决策边界：根据logistic回归方程的假设函数h(x)=g(），g(z)=1/(1+e^(-z))，g(z){0,1},可知当g(z)>=0.5时z>=0，相反z<0，分类时只要满足z=>=0就可以实现分类，（=theta_i*x_i,也就是向量theta是决策边界z的法向量，即，后面svm后用到）当参数确定时，即可绘制出一条线，关于线性可分，非线性可分，请移步这里（
转载
2024-03-21 11:01:43
184阅读
1）KNN算法基础知识：KNN全称K Nearest Neighbor, k是指最近邻居的个数。 俗话说物以类聚，人以群分，我们通常判别一个人是好是坏的方式就是看他周围是一群好人还是坏人。 这个算法也是如此，假如A的周围有一堆好人，我们就认为他是个好人。即使他周围有两个坏人（干扰项），我们也不会把它当成坏人。 而人与人的关系也有远近之分，计算远近，我们就需要用距离来衡量，有时候远亲不如
转载
2023-10-04 16:32:40
496阅读
## LDA决策边界在Python中的实现
线性判别分析（LDA）是一种用于分类的技术，它通过寻找最佳的线性决策边界来区分不同类别的数据。本文将教你如何在Python中实现LDA并绘制决策边界。我们将通过以下步骤完成这个任务：
| 步骤 | 描述 |
|--------|--------------------------
## 决策边界图在机器学习中的应用
在机器学习中，决策边界是指将不同类别的数据点分开的边界。在分类问题中，理解模型的决策边界对于评估和改进模型性能是至关重要的。本文将介绍如何使用Python生成决策边界图，并提供一个简单的代码示例，帮助大家更好地理解最基本的机器学习分类器的工作原理。
### 决策边界的概念
决策边界是一个超平面，它可以将特征空间中的数据分为不同的类。一个有效的模型应该能够很
简述决策线是2特征时的分类超平面方程，当方程不能表示成y=f(x)或者x=f(y)形式时，不能直接用x或者y方向的单向采样绘制决策线。zyq给出的做法是，在一个范围内用采样的点(x,y)去激活分类器，得到其类别，从而得到这个范围内各个采样点的类别，将不同类别的点绘制成不同颜色，可以展示出分类面的形状特征。这种做法的缺陷是，采样范围难以察觉，并且得到的实际上是决策线两侧的点。可以用pyplot下的c
转载
2023-11-13 22:45:08
201阅读
在机器学习和数据科学中，绘制决策边界是评估模型分类性能的重要步骤。决策边界将数据分为不同的类别，帮助我们理解模型如何在特征空间中进行决策。下面将详细记录解决“python怎么绘制决策边界”的过程。
### 问题背景
在数据科学的项目中，用户常常面临以下情况：
- 用户使用不同的机器学习算法（如逻辑回归、支持向量机等）进行分类任务。
- 在进行模型评估时，希望可视化模型的决策边界。
- 尝试了
两个特征的决策边界绘制。 绘制决策边界1.数据处理1.1 数据准备1.2 数据集切分1.3 数据标准化2.绘制决策边界2.1 可视化函数(两个特征)2.2 决策树模型2.3 KNN模型3. 参考链接 1.数据处理1.1 数据准备使用 Iris 鸢尾花数据集，进行分析可视化。平面图只能绘制两个特征，这里我们也取数据集中的两列特征。# 引入数据
from sklearn import datasets
转载
2023-12-25 14:58:19
297阅读
机器学习—决策树算法的python实现想要实现的效果先来看下结果程序原理数据完整代码（附有具体解析） 想要实现的效果对于这个不好玩的决策树，我想要得到的就是通过决策树训练我的数据然后生成这棵决策树，再进行测试，把辣鸡数据输入得出最后的预测结果先来看下结果1.得到的辣鸡决策树 哇，调用graph模块竟然可直接生成如下的PDF图片诶 2.那随手在来张测试结果的截图吧程序原理这个什么鬼原理就是先将训练
学习决策树，包括熵和信息增益
简介决策树是一个预测模型，通过坐标数据进行多次分割，找出分界线，绘制决策树。在机器学习中，决策树学习算法就是根据数据，使用计算机算法自动找出决策边界。每一次分割代表一次决策，多次决策而形成决策树，决策树可以通过核技巧把简单的线性决策面转换为非线性决策面。 基本思想树是由节点和边两种元素组成的结构。有这几个关键词：根
转载
2023-12-15 19:12:16
147阅读
LDA算法计算决策边界的 Python 实现
在数据科学领域，LDA（线性判别分析）是一种经典的监督学习方法，常用于特征降维和分类问题。本文将探讨如何在 Python 中实现 LDA 算法并计算决策边界，尤其是考虑到模型的可视化效果。在分析之前，我们先给出一个关于四象限图的背景，以方便读者理解采用 LDA 的实际场景。
### 背景描述
在机器学习中，我们经常会遇到不同类别的数据集，并希望将
理论：1.线性判别函数和决策边界线性判别函数若分属于ω1，ω2的两类模式可用一方程d(x) =0来划分，那么称d(x) 为判别函数，或称判决函数、决策函数。一个线性分类模型（Linear Classification Model）或线性分类器（Linear Classifier），是由一个（或多个）线性的判别函数f(x,w)= wTx+b和非线性的决策函数g(·)组成。 两类分类（Binar
转载
2024-01-11 08:31:40
125阅读
1.特征选择特征选择是选取对训练数据有分类能力的特征，常用的有信息增益（ information gain）、基尼不纯度（Gini impurity ）信息增益（ information gain）信息增益用在ID3、C4.5决策树生成算法中wikipedia中信息增益的公式
J是分类数，几分类就是几
a是特征a的取值
from sklearn.tree import DecisionTreeClassifier
def optimal_binning_boundary(x: pd.Series, y: pd.Series,leaf=3, nan: float = -999.,min_per=0.1) -> list:
'''
利用决策树获得最优分箱的边界值列表
le
以下算法所需训练数据格式：决策树回归算法：import pickle
import numpy as np
import pandas as pd
from sklearn import metrics
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeRegresso
文章目录前言一、重要参数1.1 criterion建立一棵树的步骤1.2 random_state & splitter1.2.1 建立树的第五步（建立模型）添加参数1.3 剪枝参数1.3.1 查看对训练集的拟合效果如何1.3.2 max_depth1.3.3 min_samples_leaf & min_samples_split1.3.4 建立树的第五步（建立模型）添加上述参
决策树在分类、预测、规则提取等领域有着广泛的应用。决策树是一种树状结果，它的每一个叶节点对应一个分类。构造决策树的核心问题是：在每一步如何选择适当的属性对样本做拆分。对于分类问题，从已知类标记的训练样本中学习并构造出决策树是一个自上而下，分而治之的过程。常见的决策树算法如下：ID3算法C4.5算法CART算法其中ID3是最经典的决策树分类算法。ID3算法ID3算法基于信息熵来选择最佳测试属性。它选
import matplotlib.pyplot as plt import numpy as np import sklearn import sklearn.datasets import sklearn.linear_model def plot_decision_boundary(model, X, y): # Set min and max values and give i...
转载
2019-01-19 17:57:00
277阅读
2评论
决策树（ID3）
1.思路选择划分数据集属性的方法找到划分数据集的最佳属性根据最佳属性划分数据集若划分后属于同一类别，结束分类；否则继续选择下一最佳属性直到分完所有属性，按多数表决法分类根据树绘图保存分类器，以供下一次使用 2.函数 生成树函数1：信息增益计算（熵）函数2：划分数据集函数3：选择最优属性函数4：确定叶子节点类别（多数
转载
2024-09-18 20:09:17
42阅读
在分类问题中，表示基于特征对实例进行分类的过程，可以认为是if-then的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。决策树是一种预测模型，对未标识的实例进行分类；也是一种描述性模型，标识哪些诶特在可以将实例从不同类里区分不来。决策树分类器是基于信息熵的学习。决策树学习的本质：从训练集中归纳出一组分类规则，或者说是由训练数据集估计条件概率模型。决策树原理和问答判断相似，根据一系列数据
转载
2024-07-09 19:13:13
63阅读
