逻辑回归（Logistic Regression）是一种二分类（或多分类）的机器学习算法，用于建立分类模型并预测新的数据。该算法的基本思想是，根据输入数据的特征值计算出一个或多个数值，将其映射到一个概率值，用于表示该数据属于某一类的概率。具体来说，逻辑回归将一个线性方程和一个特定的函数（称为sigmoid函数）相结合，以将输入数据映射到一个介于0和1之间的值，该值可以被解释为属于某一类的概率。逻辑
转载
2023-10-08 07:16:22
209阅读
在本系列文章中提到过用Python机器学习(2)数据拟合与广义线性回归中提到过回归算法来进行数值预测。逻辑回归算法本质还是回归，只是其引入了逻辑函数来帮助其分类。实践发现，逻辑回归在文本分类领域表现的也很优秀。现在让我们来一探究竟。1、逻辑函数假设数据集有n个独立的特征，x1到xn为样本的n个特征。常规的回归算法的目标是拟合出一个多项式函数，使得预测值与真实值的误差最小：而我们希望这样的f(x)能
转载
2023-09-18 20:40:07
84阅读
文章目录模型相关原理1.逻辑回归2.决策树模型3.集成模型集成方法模型评估方法1.留出法2.交叉验证法3. 自助法4.数据集划分总结模型评价标准模型调参1.贪心调参2.网格搜索3.贝叶斯调参 模型相关原理1.逻辑回归优点
训练速度较快，分类的时候，计算量仅仅只和特征的数目相关；简单易理解，模型的可解释性非常好，从特征的权重可以看到不同的特征对最后结果的影响；适合二分类问题，不需要缩放输入特
转载
2024-08-07 20:05:36
39阅读
回顾这篇博客【链接】我们简单介绍了逻辑回归模型，留下了一个问题：怎么求解使J(θ)
J
(
θ
)
最大的θ
θ
值呢？ J(θ)=∑i=1m(y(i)loghθ(x(
目录1.linear_model.LogisticRegression1.1 重要参数 penalty & C1.1.1 正则化1.1.2 逻辑回归中的特征工程1.2 重要参数 max_iter1.3 二元回归与多元回归：重要参数solver & multi_class首先来看一下sklearn中逻辑回归的类：1.linear_model.LogisticRegression cl
转载
2024-04-09 10:06:49
97阅读
文章目录一、逻辑回归二、算法原理介绍三、代码实现3.1 sklearn-API介绍3.2 sklearn-代码实现3.3 python手写代码实现四、总结五、算法系列 一、逻辑回归逻辑回归也称作logistic回归分析，是一种广义的线性回归分析模型，属于机器学习中的监督学习。其推导过程与计算方式类似于回归的过程，但实际上主要是用来解决二分类问题（也可以解决多分类问题）。通过给定的n组数据（训练集
转载
2023-09-19 11:11:42
108阅读
文章目录一、数据准备与评估器构造1. 数据准备2. 构建机器学习流二、评估器训练与过拟合实验三、评估器的手动调参 在补充了一系列关于正则化的基础理论以及 sklearn 中逻辑回归评估器的参数解释之后，接下来，我们尝试借助 sklearn 中的逻辑回归评估器，来执行包含特征衍生和正则化过程的建模试验，同时探索模型经验风险和结构风险之间的关系。一方面巩固此前介绍的相关内容，同时也进一步加深对于 P
转载
2024-04-25 14:49:08
189阅读
这篇主要记录数据建模中的线性回归的学习如何用Sklearn进行线性回归分析？这部分主要记录2个关键知识点：回顾回归模型原理与工作流程如何使用Python的Sklearn进行模型搭建什么是回归模型？ 线性回归都有哪些应用场景？保险行业 （用户的保费 赔付金额）旅游行业 （用户的出行次数 度假时长）电商行业 （用户网页停留时间 购物车的商品数量）注意：回归分析虽然是最常见的分
转载
2024-06-12 21:18:44
36阅读
逻辑回归是一种常用的二分类模型，它可以用来预测一个观测值属于某一类的概率。在训练逻辑回归模型时，通常需要调参来获得最优的模型性能。常见的调参方法包括：正则化参数调参：在逻辑回归中，可以使用正则化来防止过拟合。常用的正则化方法有 L1 正则化和 L2 正则化。可以通过交叉验证来确定最优的正则化参数。学习率调参：在梯度下降法中，学习率决定了每次迭代时模型参数的更新幅度。过大的学习率会导致训练不稳定，过
转载
2023-07-05 22:03:40
146阅读
1.模型 在分类问题中，比如判断邮件是否为垃圾邮件，判断肿瘤是否为阳性，目标变量是离散的，只有两种取值，通常会编码为0和1。假设我们有一个特征X，画出散点图，结果如下所示。这时候如果我们用线性回归去拟合一条直线：hθ(X) = θ0+θ1X，若Y≥0.5则判断为1，否则为0。这样我们也可以构建出一个模型去进行分类，但是会存在很多的缺点，比如稳健性差、准确率低。而逻辑回归对于
转载
2023-08-02 15:46:44
168阅读
在scikit-learn中，与逻辑回归有关的主要是这3个类。LogisticRegression， LogisticRegressionCV 和logistic_regression_path。其中LogisticRegression和LogisticRegressionCV的主要区别是LogisticRegressionCV使用了交叉验证来选择正则化系数C。而LogisticRegressio
转载
2024-05-02 18:01:20
37阅读
在scikit-learn中，LogisticRegression函数实现了逻辑回归模型，其原型为：classsklearn.linear_model.LogisticRegression(penalty='l2',dual=False,tol=0.0001,C=1.0,fit_intercept=True,intercept_scaling=1,class_weight=None,random_
转载
2024-03-06 05:49:30
91阅读
练习2：逻辑回归介绍在本练习中，您将实现逻辑回归并将其应用于两个不同的数据集。还将通过将正则化加入训练算法，来提高算法的鲁棒性，并用更复杂的情形来测试模型算法。在开始练习前，需要下载如下的文件进行数据上传：ex2data1.txt -前半部分的训练数据集ex2data2.txt -后半部分的训练数据集在整个练习中，涉及如下的必做作业：
绘制2D分类数据的函数----(3分)
实现Sigmoid函数
转载
2024-09-24 14:22:36
72阅读
在完成第三部分的特征工程之后，我们认为我们已经获得了想要的并且标准的数据，接下来就可以将数据放到合适的模型算法之中来训练模型，通过调整模型的参数来使得模型更健壮，这一部分主要做的就是建模及调整参数。这一部分的学习分为两个部分，一个是金融风控常用的机器学习模型的学习，第二个是这些模型的实际应用与调参。1.机器学习算法的学习1.1Logistic回归逻辑回归假设数据服从伯努利分布,通过极大化似然函数的
转载
2024-06-05 19:23:10
316阅读
我们都是小怪兽，终有一天，都会被正义的奥特曼杀死。
逻辑回归与最大熵模型1 逻辑回归1.1 Logistic Regression的模型定义
上述中
等价于
，之后不再一一赘述。
1.2 Logistic Regression解决何种问题 我们需要知道的是，LR模型解决的是分类问题，但是其命名为回归，这与几率这一概
目录1、分类问题2、逻辑回归3、损失函数4、决策边界5、OvR与OvO 1、分类问题机器学习中有三大问题，分别是回归、分类和聚类。线性回归属于回归任务，而逻辑回归和k近邻算法属于分类任务。逻辑回归算法主要应用于分类问题，比如垃圾邮件的分类（是垃圾邮件或不是垃圾邮件），或者肿瘤的判断（是恶性肿瘤或不是恶性肿瘤）。在二分类的问题中，我们经常用 1 表示正向的类别，用 0 表示负向的类别。2、逻辑回归
转载
2024-07-13 15:58:21
49阅读
逻辑回归（Logistic Regression）是广义线性回归的一种。逻辑回归是用来做分类任务的常用算法。分类任务的目标是找一个函数，把观测值匹配到相关的类和标签上。比如一个人有没有病，又因为噪声的干扰，条件的描述的不够完全，所以可能不确定正确，还希望得到一个概率，比如有病的概率是80%。也即P(Y|X),对于输入X，产生Y的概率，Y可取两类，1或者0。推导Sigmod函数 相当于线性模型
转载
2023-11-04 17:23:49
66阅读
第 29节 -逻辑回归之高级优化 (5)参考视频:6-6-Advanced Optimization (14 min).mkv 在上一个视频中，我们讨论了用梯度下降的方法最小化逻辑回归中代价函数J(θ)。在本次视频中，我会教你们一些高级优化算法和一些高级的优化概念，利用这些方法，我们就能够使通过梯度下降，进行逻辑回归的速度大大提高，而这也将使算法更加适合解决大型的机器学习问题，比如，我们有数目庞大
转载
2024-07-30 21:30:52
42阅读
1 逻辑回归概述在Scikit-learn的最新版本中，与逻辑回归有关的有2个类。LogisticRegression， LogisticRegressionCV 。其中LogisticRegression和LogisticRegressionCV的主要区别是LogisticRegressionCV使用了交叉验证来选择正则化系数C。 而LogisticRegression需要自己每次指定一个正则化
转载
2024-05-06 22:04:53
187阅读
算法特征:利用sigmoid函数的概率含义, 借助回归之手段达到分类之目的.算法推导:Part Ⅰsigmoid函数之定义:\begin{equation}\label{eq_1}sig(x) = \frac{1}{1 + e^{-x}}\end{equation}相关函数图像:由此可见, sigmoid函数将整个实数域$(-\infty, +\infty)$映射至$(0, 1)$区间内, 反映了
转载
2023-09-25 17:50:03
138阅读
