Classification（分类）1、问题背景：特殊的样本点会使得分界点发生漂移，影响准确性。 Hypothesis representation（假设函数表达式）1、Logistic regression Model（逻辑回归模型）：（1）Sigmoid function / Logistic function S型函数/逻辑函数： （2）g(z)图像： （3）h
转载
2024-04-01 12:05:36
414阅读
逻辑回归又称logistic回归，逻辑斯谛回归，是一种广义的线性回归分析模型。1. Sigmod函数 Sigmoid函数也是神经网络中常用的函数，用于把x从负无穷到正无穷压缩到y从0到1之间。画出来就是一条S型曲线，如下图中的蓝色曲线： 它以0点为中心对称，公式如下： 当x值接近负无穷时，分母很大，S(x)接近0，当x接近正无穷时，分母接近1，S(x)接近1，当x为0时，S(x)为1/2在正中间。
转载
2024-03-29 22:12:55
174阅读
以下算法所需训练数据格式：决策树回归算法：import pickle
import numpy as np
import pandas as pd
from sklearn import metrics
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeRegresso
用Python实现逻辑回归问题怎样快速实现用Python实现逻辑回归，怎样优化逻辑回归概述这里我采用了百度的AIstudio平台，因为AIstudio预装了python3.7版本，还有其他Python必要的库，比如说Numpy库，matplotlib库，这些库在机器学习中都比较常用。 我代码主要逻辑先是读取文件中的数据，第二步是数据处理，第三步就是逻辑回归运算，第四步就是画图 我多使用了矩阵操作，
转载
2024-04-12 23:08:57
61阅读
1.特征选择特征选择是选取对训练数据有分类能力的特征，常用的有信息增益（ information gain）、基尼不纯度（Gini impurity ）信息增益（ information gain）信息增益用在ID3、C4.5决策树生成算法中wikipedia中信息增益的公式
J是分类数，几分类就是几
a是特征a的取值
逻辑回归中的决策边界问题解析逻辑回归是分类问题中最常见且经典的算法之一，其核心思想是通过一个线性组合（logit）来预测某个事件发生的概率。对于二分类问题，模型的目标是将输入数据根据某种标准分为两类。这时，决策边界的定义尤为重要，它决定了模型的分类规则。本文将详细介绍逻辑回归中的决策边界，帮助读者理解其原理与实际应用。一、决策边界的数学定义逻辑回归的决策边界是模型用于区分不同类别的分界线，数学上可
## 决策边界图在机器学习中的应用
在机器学习中，决策边界是指将不同类别的数据点分开的边界。在分类问题中，理解模型的决策边界对于评估和改进模型性能是至关重要的。本文将介绍如何使用Python生成决策边界图，并提供一个简单的代码示例，帮助大家更好地理解最基本的机器学习分类器的工作原理。
### 决策边界的概念
决策边界是一个超平面，它可以将特征空间中的数据分为不同的类。一个有效的模型应该能够很
1）KNN算法基础知识：KNN全称K Nearest Neighbor, k是指最近邻居的个数。 俗话说物以类聚，人以群分，我们通常判别一个人是好是坏的方式就是看他周围是一群好人还是坏人。 这个算法也是如此，假如A的周围有一堆好人，我们就认为他是个好人。即使他周围有两个坏人（干扰项），我们也不会把它当成坏人。 而人与人的关系也有远近之分，计算远近，我们就需要用距离来衡量，有时候远亲不如
转载
2023-10-04 16:32:40
501阅读
目录✨主程序✨画图程序 ✨代码修改细节✨结果展示✨参考 主程序import os
from sklearn.linear_model import LogisticRegression
import numpy as np
import pandas as pd
import warnings
from createPlot import createPlot
import m
转载
2024-06-12 18:07:35
40阅读
ID3C4.5CART 下表给出了ID3，C4.5和CART的一个比较总结。希望可以帮助大家理解。7. 决策树算法小结终于到了最后的总结阶段了，这里我们不再纠结于ID3, C4.5和 CART，我们来看看决策树算法作为一个大类别的分类回归算法的优缺点。这部分总结于scikit-learn的英文文档。首先我们看看决策树算法的优点：1）简单直观，生成的决策树很直观。2）基本不需要预处理，不需要提前归一
转载
2024-03-28 22:58:05
49阅读
逻辑回归（Logistic Regression）可以说是机器学习领域最基础也是最常用的模型，逻辑回归的原理以及推导以及扩展应用几乎是算法工程师必备技能。医生的病理诊断、银行个人行用评估、邮箱分类垃圾邮件等，无不体现逻辑回归精巧而广泛的应用。1. 逻辑回归基本原理 使用逻辑回归进行分类，就是要找到这样的分类边界，使其能够尽可能地对样本进行正确
转载
2024-05-10 07:50:12
55阅读
一、逻辑斯蒂回归利用手写数字实现逻辑斯蒂回归，在线性感知算法中，我们使用f(x) = x函数，作为激励函数，而在逻辑斯蒂回归中，我们将采用sigmoid函数作为激励函数，所以它被称为sigmoid回归也叫做对数几率回归，需要注意的是，虽然它的名字中带有回归，但事实上它并不是一种回归算法，而是一种分类算法，它的优点是，它是直接对分类的可能性进行建模的，无需进行实现的假设数据分布，这样就避免了假设分布
转载
2024-07-17 21:23:20
18阅读
逻辑回归中的决策边界问题解析逻辑回归是分类问题中最常见且经典的算法之一，其核心思想是通过一个线性组合（logit）来预测某个事件发生的概率。对于二分类问题，模型的目标是将输入数据根据某种标准分为两类。这时，决策边界的定义尤为重要，它决定了模型的分类规则。本文将详细介绍逻辑回归中的决策边界，帮助读者理 ...
逻辑回归案例二：鸢尾花数据分类，决策边界绘制逐步代码讲解1 数据加载2 数据EDA3 模型创建及应用3.1 数据切分3.2 创建模型与分类3.3 决策边界绘制
原创
2022-07-11 11:37:24
2724阅读
1、逻辑回归概述¶
逻辑回归假设数据服从伯努利分布，通过极大化似然函数方法，运用梯度下降来求解参数，来达到将数据二分目的。本质上就是LR模型可以被认为就是一个被Sigmoid函数（logistic方程）所归一化后的线性回归模型 。 Logistic Regression方程如下： $$P(y=1|x;\theta)=\frac{1}{1+e^
转载
2023-07-14 00:19:02
70阅读
1.决策边界：根据logistic回归方程的假设函数h(x)=g(），g(z)=1/(1+e^(-z))，g(z){0,1},可知当g(z)>=0.5时z>=0，相反z<0，分类时只要满足z=>=0就可以实现分类，（=theta_i*x_i,也就是向量theta是决策边界z的法向量，即，后面svm后用到）当参数确定时，即可绘制出一条线，关于线性可分，非线性可分，请移步这里（
转载
2024-03-21 11:01:43
184阅读
线性回归是回归模型感知器、逻辑回归以及SVM是分类模型线性回归：f(x)=wx+b感知器：f(x)=sign(wx+b)其中sign是个符号函数，若wx+b>=0取+1，若wx+b<0取-1它的学习策略是最小化误分类点到超平面的距离，逻辑回归：f(x)=sigmoid(wx+b)取值范围在0-1之间。感知器和SVM的对比：它俩都是用于分类的模型，且都以sign符号函数作为分类决策函数。
本篇文章记录一下在机器学习中的各个模型的优缺点：Logistic Regression逻辑回归作为机器学习中的“baseline”在实际当中经常被用到，Logistic Regression（LR）是一个二分类的分类器，其本质是在线性归回的基础上添加一个sigmoid激活函数，其输出值可以认为是判别当前样本属于正例的概率值。在LR分类器中，参数θ是我们需要确定的唯一参数，因此，可以通过样本来估计每
分类问题是我们在各个行业的商业业务中遇到的主要问题之一。在本文中，我们将从众多技术中挑选出三种主要技术展开讨论，逻辑回归（Logistic Regression）、决策树（Decision Trees）和支持向量机（Support Vector Machine，SVM）。 上面列出的算法都是用来解决分类问题（SVM和DT也被用于回归，但这不在我们的讨论
转载
2024-08-16 18:23:23
28阅读
决策树回归 Decision Tree Regression 带有决策树的 1D 回归。 决策树用于拟合正数曲线和加噪声观测。因此，它学习接近主数曲线的局部线性回归。 我们可以看到，如果树的最大深度（由最大深度参数控制）设置得过高，则决策树会学习训练数据的细节，并从噪声中学习，即它们过度拟合。
转载
2023-03-17 21:13:55
66阅读
