逻辑回归算是接触到最优化的内容了，logistic回归的一般过程step1：收集数据step2：准备数据，这部分意思是将数据转换成我们的代码需要的数据格式，因为logistic需要计算，所以需要数据类型为数值型，结构化的数据最佳step3：分析数据step4：训练算法（占用大量时间），找一个最好的分类回归系数，这边待会会讲step5：验证算法，很快step5：对我们需要测试的数据，先转化成对应的结
转载
2024-03-21 15:15:57
52阅读
&nbs
转载
2024-05-07 20:11:38
120阅读
声明： 1，本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结。不得用作商用。欢迎转载，但请注明出处（即：本帖地址）。 2，因为本人在学习初始时有非常多数学知识都已忘记。所以为了弄懂当中的内容查阅了非常多资料，所以里面应该会有引用其它帖子的小部分内容。假设原作者看到能够私信我。我会将您的
转载
2017-07-18 10:06:00
174阅读
2评论
逻辑斯蒂回归（logistic regression）是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型（maximum entropy）。都属于对数线性模型。
逻辑斯蒂回归（logistic regression）是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型（ma
转载
2024-05-21 18:54:51
42阅读
1. 算法概述0x1：逻辑斯蒂回归逻辑斯蒂回归（logistic regression）是统计学习中的经典分类方法，它属于一种对数线性模型（转化为对数形式后可转化为线性模型）从概率角度看，逻辑斯蒂回归本质上是给定特征条件下的类别条件概率0x2：最大熵准则最大熵模型的原则： 承认已知事物（知识）；
对未知事物不做任何假设，没有任何偏见。 对一个随机事件的概率分布进行预测时，我们的预测应当满足全部
转载
2024-07-29 16:20:22
73阅读
二项logistic回归模型二项逻辑蒂斯回归，简称逻辑回归，也被称为对数几率回归，在回归模型中引入sigmoid函数，构成非线性回归模型，将回归模型的预测值利用单位阶跃函数，将预测值转换为离散值。模型的表示：sigmoid函数在一定程度上接近单位阶跃函数，但其单调可微，以替代单位阶跃函数的不连续。sigmoid函数的性质概率形式输出。sigmoid函数是单调递增的，其值域为(0，1)，因此使sig
转载
2024-06-18 21:17:02
59阅读
本文是Andrew Ng在Coursera的机器学习课程的笔记。Logistic回归属于分类模型。回顾线性回归，输出的是连续的实数，而Logistic回归输出的是[0,1]区间的概率值，通过概率值来判断因变量应该是1还是0。因此，虽然名字中带着“回归”（输出范围常为连续实数），但Logistic回归属于分类模型（输出范围为一组离散值构成的集合）。整体步骤假如我们的自变量是“数学课和英语课的成绩”，
转载
2024-05-06 22:58:48
38阅读
1、主要内容 逻辑回归的推导，分别推导出y={0，1}和y = {-1， +1}，之前关于林轩田老师和李航老师关于逻辑回归的推导弄混了，林轩田老师的推导是建立在后面的—1， +1的分类，李航老师的是关于0， 1的推导。2、关于逻辑斯蒂模型 逻辑斯蒂模型从逻辑斯蒂分布得到，这一部分见李航老师的《统计学习方法》。 3、公式推导 两种推导都是采用对数似然最大方式进行模型的参数估计，不同之处就在于模
转载
2023-11-20 01:36:27
78阅读
第一节中说了，logistic 回归和线性回归的区别是：线性回归是根据样本X各个维度的Xi的线性叠加（线性叠加的权重系数wi就是模型的参数）来得到预测值的Y，然后最小化所有的样本预测值Y与真实值y'的误差来求得模型参数。我们看到这里的模型的值Y是样本X各个维度的Xi的线性叠加，是线性的。Y=WX (假设W>0),Y的大小是随着X各个维度的叠加和的大小线性增加的，如图（x为了方便取1维）：然后
转载
2023-12-19 21:33:36
82阅读
1.《统计学习方法》李航 2.逻辑斯蒂回归是一个非常经典的二项分类模型，也可以扩展为多项分类模型。其在应用于分类时的过程一般如下，对于给定的数据集，首先根据训练样本点学习到参数w,b;再对预测点分别计算两类的条件概率，将预测点判为概率值较大的一类。 1、线性模型 逻辑斯蒂回归属于对数线性模型，那什么是对数线性模型？首先我们介绍下线性模型。 给定包含d个属性的变量x=
参考书籍：《统计学习方法》，cs229，其他1、线性回归1.1、线性回归表示线性回归属于监督学习问题，输入X与输出Y成线性关系，只要我们得到了这个具体的关系，那么对于待预测的数据X我们便可以知道Y的值。现在就来求这个线性关系先定义好变量表示。记输入变量表示为，输出变量表示为,训练集为，特征向量是m维的（m个特征）表示为。表示第个输入变量的第个特征那么线性关系可以表示为:，我们记 那么就可以表示为
二项逻辑斯蒂回归模型构建预测函数Logistic Regression 虽然是名字带有回归，但是本质上是一种分类方法，一般情况下用于二分类的情况（也就是说输出情况一般是有两种） 我们想要的函数是能够接受所有的输入，然后预测出来类别。在这里我们引入Sigmoid函数。函数形式如下\[g(z)=\frac{1}{1+e^{-z}}\] 图像如下所以: 对于Sigmoid函数的输入z，有以下的公式给出:
转载
2024-07-11 20:04:33
69阅读
方法简介 逻辑斯蒂回归（logistic regression）是统计学习中的经典分类方法，属于对数线性模型。logistic回归的因变量可以是二分类的，也可以是多分类的。基本原理logistic分布 设X是连续随机变量，X服从logistic分布是指X具有下列分布函数和密度函数： F(x)=P(x≤x)=11+e−(x−μ)/γF(x)=P(x≤x)=11+e−(x−μ)/γ f(x)=F′(x
转载
2024-07-10 03:50:05
124阅读
在logistics回归中，我们采用sigmoid函数作为激励函数，所以它被称为sigmoid回归或是对数几率回归。但是，需要注意的是，虽然它的名字中带有回归两个字，但是它并不是一个回归算法，而是一种分类算法。它的优点是，它是直接对分类的可能性进行建模的，无需事先假设数据分布，这样就避免了假设分布不准确所带来的问题，因为它是针对于分类的可能性进行建模的，所以它不仅能预测出类别，还可以得到属于该类别
转载
2024-05-16 02:31:29
34阅读
逻辑回归是一种常用的分类算法，可以对样本进行概率估计，并通过最小化交叉熵损失函数来优化模型。在实际应用中，我们需要根据数据集的特点和任务需求选择合适的逻辑回归模型，并通过调整超参数和优化算法来提高预测性能。
原创
2024-06-04 10:57:12
12阅读
Logistic regression介绍Logistic regression模型是广义线性模型的一种，属于线性的分类模型。对于一个线性函数通过对训练样本的学习，最终得到一个超平面，将不同的类区分开正负两个类别。一般使用阈值函数,将样本映射到不同的类别中，常见的阈值函数有sigmoid函数，其形如下： sigmoid图像如下x=[]
y=[]
for i in range(50):
x.
转载
2024-10-15 15:30:43
15阅读
1.概念逻辑斯蒂回归又称为“对数几率回归”，虽然名字有回归，但是实际上却是一种经典的分类方法，其主要思想是：根据现有数据对分类边界线（Decision Boundary）建立回归公式，以此进行分类。2.特点1. 优点：计算代价不高，具有可解释性，易于实现。不仅可以预测出类别，而且可以得到近似概率预测，对许多需要利用概率辅助决策的任务很有用。2. 缺点：容易欠拟合，分类精度可能不高。3. 适用数据类
转载
2024-05-07 20:10:43
384阅读
1、基本思想虽然也叫回归，但是一种分类方法。对于逻辑斯蒂回归的理解可以从两个角度展开，一个是线性回归依托Sigmoid函数应用到分类任务的拓展，另一个是基于逻辑斯蒂分布的二项分布模型。下面详细说明下（1）线性回归将输入数据的各个维度的特征进行了有效的结合（通过分配不同的权重），使得所有特征共同协同合作实现对模型的拟合。在此基础上，逻辑斯蒂回归利用sigmoid函数，将特征的线性加权结果映射到0到1
转载
2024-05-29 11:00:30
70阅读
1. 写在前面本文主要针对一个简单的机器学习算法逻辑斯蒂回归模型进行相关的讲解。主要内容包括：逻辑斯蒂回归模型定义及来源、二项逻辑斯蒂回归模型形式与推导、二项逻辑斯蒂回归模型的参数估计与多项逻辑斯蒂回归模型推广。2. 逻辑斯蒂回归模型定义及来源逻辑斯蒂回归模型主要是来源于逻辑斯蒂分布与逻辑斯蒂函数。当然，如果换一个名字，你对它应当相当熟悉，那就是sigmoid函数。它的形式如下： 而逻辑斯蒂回归模
转载
2024-04-17 13:46:58
117阅读
首先声明：本博客的写作思路是对机器学习的一些基本算法做一些通俗性的灵活理解，以及对一些细节的进行简单剖析，还有记录本人在使用算法时的一些小经验小感想。本人一般不会对基本公式做大量推导，也不会写的太正式，这些可以在很多其他博客中找到。由于本人还是学生一枚，经验知识粗浅，还望能和朋友们参与讨论。之前本博客简单谈过线性回归相关知识点，这次来谈一下逻辑斯蒂回归。虽然也叫回归，但是逻辑斯蒂回归是一种分类算法
转载
2024-04-25 14:38:12
20阅读
