LR为什么用sigmoid函数， 为什么不用其他函数？逻辑回归的条件分布是伯努利分布，而线性回归的是高斯分布。逻辑回归要预测的值是概率，因此要通过sigmoid函数约束到（0,1）区间，从而输出因为逻辑回归预测的是某个输出值（0或1）的概率。sigmoid函数有什么优点和缺点？优点输入范围是−∞→+∞−∞→+∞ ，输出范围为（0，1），正好满足概率分布为（0，1）的要求。我们用概率去描述分类器，自
1、基本思想虽然也叫回归，但是一种分类方法。对于逻辑斯蒂回归的理解可以从两个角度展开，一个是线性回归依托Sigmoid函数应用到分类任务的拓展，另一个是基于逻辑斯蒂分布的二项分布模型。下面详细说明下（1）线性回归将输入数据的各个维度的特征进行了有效的结合（通过分配不同的权重），使得所有特征共同协同合作实现对模型的拟合。在此基础上，逻辑斯蒂回归利用sigmoid函数，将特征的线性加权结果映射到0到1
转载
2024-05-29 11:00:30
70阅读
1.概念逻辑斯蒂回归又称为“对数几率回归”，虽然名字有回归，但是实际上却是一种经典的分类方法，其主要思想是：根据现有数据对分类边界线（Decision Boundary）建立回归公式，以此进行分类。2.特点1. 优点：计算代价不高，具有可解释性，易于实现。不仅可以预测出类别，而且可以得到近似概率预测，对许多需要利用概率辅助决策的任务很有用。2. 缺点：容易欠拟合，分类精度可能不高。3. 适用数据类
转载
2024-05-07 20:10:43
384阅读
声明： 1，本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结。不得用作商用。欢迎转载，但请注明出处（即：本帖地址）。 2，因为本人在学习初始时有非常多数学知识都已忘记。所以为了弄懂当中的内容查阅了非常多资料，所以里面应该会有引用其它帖子的小部分内容。假设原作者看到能够私信我。我会将您的
转载
2017-07-18 10:06:00
174阅读
2评论
首先声明：本博客的写作思路是对机器学习的一些基本算法做一些通俗性的灵活理解，以及对一些细节的进行简单剖析，还有记录本人在使用算法时的一些小经验小感想。本人一般不会对基本公式做大量推导，也不会写的太正式，这些可以在很多其他博客中找到。由于本人还是学生一枚，经验知识粗浅，还望能和朋友们参与讨论。之前本博客简单谈过线性回归相关知识点，这次来谈一下逻辑斯蒂回归。虽然也叫回归，但是逻辑斯蒂回归是一种分类算法
转载
2024-04-25 14:38:12
20阅读
逻辑斯蒂回归算法可用于分类问题，其本质是在线性回归的算法上用sigmoid函数进行模型变换，使得目标值介于0-1之间。本文用于对逻辑斯蒂回归算法（Logistics Regression）进行详细讲述。逻辑斯蒂回归基本假设我们知道线性回归的基本假设是h(x)=θ^Tx,为了实现介于[0,1]这种效果，需要对假设模型进行变换，变换是通过sigmoid函数实现的，sigmoid函数如下：sigmoid
转载
2023-11-02 11:32:25
95阅读
逻辑斯蒂回归（logistic regression）是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型（maximum entropy）。都属于对数线性模型。
逻辑斯蒂回归（logistic regression）是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型（ma
转载
2024-05-21 18:54:51
42阅读
逻辑斯蒂回归（logistic regression，又称“对数几率回归”）是经典的分类方法。虽然名字中包含回归，但它被用来分类。逻辑斯蒂分布设 \(X\) 是随机变量，\(X\) 服从逻辑斯蒂分布是指 \(X\) 的概率分布函数 \(F(x)\) 和概率密度函数 \(f(x)\)
转载
2024-02-19 22:36:55
57阅读
Logistic回归属于分类模型。回顾线性回归，输出的是连续的实数，而Logistic回归输出的是[0,1]区间的概率值，通过概率值来判断因变量应该是1还是0。因此，虽然名字中带着“回归”（输出范围常为连续实数），但Logistic回归属于分类模型（输出范围为一组离散值构成的集合）。整体步骤假如我们的自变量是“数学课和英语课的成绩”，x={x1,x2}，因变量是“能否被哥大录取”，y∈{0,1}。
转载
2024-06-11 21:54:56
93阅读
第一节中说了，logistic 回归和线性回归的区别是：线性回归是根据样本X各个维度的Xi的线性叠加（线性叠加的权重系数wi就是模型的参数）来得到预测值的Y，然后最小化所有的样本预测值Y与真实值y'的误差来求得模型参数。我们看到这里的模型的值Y是样本X各个维度的Xi的线性叠加，是线性的。Y=WX (假设W>0),Y的大小是随着X各个维度的叠加和的大小线性增加的，如图（x为了方便取1维）：然后
转载
2023-12-19 21:33:36
82阅读
1.逻辑斯谛回归 （logistic regression） 是统计学习中的经典分类方法。 最大熵是概率模型学习的一个准则， 将其推广到分类问题得到最大熵模型（maximum entropy model） 。逻辑斯谛回归模型与最大熵模型都属于对数线性模型。设X是连续随机变量， X服从Logistic distribution，分布函数：密度函数：μ为位置参数， γ大于0为
转载
2024-03-25 21:11:18
823阅读
### 实现逻辑斯蒂回归的流程
逻辑斯蒂回归是一种用于二分类问题的统计模型。在Python中实现逻辑斯蒂回归的步骤可以分为以下几个主要阶段：
```markdown
| 阶段 | 描述 |
| ------------ | ----------------------------- |
| 1. 数据准备 | 收集和处理数据
# Python 逻辑斯蒂回归
## 简介
逻辑斯蒂回归（Logistic Regression）是一种用于解决分类问题的机器学习算法，尤其适用于二分类问题。虽然名字中带有“回归”，但实际上逻辑斯蒂回归是一种分类算法，用于预测输入变量属于哪个类别。
逻辑斯蒂回归基于逻辑斯蒂函数（Logistic Function），也称为Sigmoid函数，将输入值映射到0和1之间。通过逻辑斯蒂函数，可以将
原创
2024-03-12 04:20:17
133阅读
## 逻辑斯蒂回归（Logistic Regression）简介
逻辑斯蒂回归是一种广泛应用于统计学和机器学习中的分类算法。尽管名称中包含“回归”二字，逻辑斯蒂回归实际上用于解决分类问题，尤其是二分类问题。它通过将输入特征的线性组合映射到一个概率值，从而判断样本属于某一类的可能性。
### 逻辑斯蒂回归的基本原理
逻辑斯蒂回归的主要步骤如下：
1. **线性组合**：首先通过线性函数对输入
目录1.逻辑斯蒂回归的概念一、逻辑回归模型的原理与定义（主要思想）2.什么是Sigmoid函数2. 逻辑斯蒂回归常用的优化方法和优缺点2.1优缺点2.2常用优化方法3.逻辑斯蒂回归的代码实现3.1 代码分析3.2 数据集分类实现3.3总结1.逻辑斯蒂回归的概念一、逻辑回归模型的原理与定义（主要思想） Logistic回归也是一种分类方法，用于两分类问题。其基本思想为：（1）寻
转载
2024-08-15 13:32:42
105阅读
逻辑斯蒂回归（分类）sigmoid函数与二项逻辑回归模型
转载
2023-12-13 19:37:19
45阅读
一、线性回归1、线性回归的概念 如果特征值之间存在线性关系就可以使用线性回归建模对其预测结果。偏导联立便可求。 如果矩阵不满...
原创
2023-10-10 10:02:31
368阅读
一、逻辑斯谛回归用于解决什么问题？逻辑斯谛回归是经典分类方法，用于解决分类问题。二项逻辑斯谛回归可以解决二分类问题。逻辑回归假设数据服从伯努利分布，通过极大化似然函数的方法，运用梯度下降来求解参数来解决二分类问题。二、逻辑斯谛回归为什么可以解决分类问题？逻辑斯谛分布函数为： 分布函数图形是一条S型曲线，以为中心对称。二项逻辑斯谛回归模型的条件概率分布如下：对于给定的输入实例，按照上述两式子可以求得
逻辑斯蒂回归（logistic regression）是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型（maximum entropy）。都属于对数线性模型。逻辑斯蒂回归模型逻辑斯蒂分布：设\(X\)是连续随机变量，\(X\)服从服从下列分布函数和密度函数（分布函数是一条S形曲线）：\[F(x) = P(X \leq x) = \frac{1}{1+e^
1. 算法概述0x1：逻辑斯蒂回归逻辑斯蒂回归（logistic regression）是统计学习中的经典分类方法，它属于一种对数线性模型（转化为对数形式后可转化为线性模型）从概率角度看，逻辑斯蒂回归本质上是给定特征条件下的类别条件概率0x2：最大熵准则最大熵模型的原则： 承认已知事物（知识）；
对未知事物不做任何假设，没有任何偏见。 对一个随机事件的概率分布进行预测时，我们的预测应当满足全部
转载
2024-07-29 16:20:22
73阅读
