逻辑回归是在线性函数的基础上，经过激活函数后产生的0~1之间的概率值。 设x为特征向量，y为真实的标签。KaTeX parse error: Got function '\hat' with no arguments as superscript at position 11: yˆy^ \̲h̲a̲t̲ ̲yy^=1.x是负样本，似然函数也等于1，KaTeX parse error: Expe
转载
2024-04-07 09:36:54
65阅读
1、逻辑回归的定义（小米面试题）：广义线性回归分析模型，一般用来解决二分类问题（其多分类形式为softmax回归）1、逻辑回归的损失函数极大似然函数2、逻辑回归为什么用极大似然估计？极大似然估计就是利用已知的样本结果信息，发推最具有可能（最大概率）导致这些样本结果出现的模型参数值（模型已定，参数未知）。损失函数一般有四种，平方损失函数、对数损失函数、HingeLoss0-1损失函数、绝对值损失函数
转载
2024-03-25 18:51:18
96阅读
引言假设今天希望将机器学习应用到医院中去，比如对于某一个患了心脏病的病人，求他3个月之后病危的概率。那么我们该选择哪一个模型，或者可以尝试已经学过的线性回归？但是很遗憾的是，如果我们要利用线性回归，我们收集到的资料中应当包含病人3个月后病危的概率。这在实际中是很难得到的，因为对于一个患病的病人，你只能知道他3个月后到底是病危或者存活。所以线性回归并不适用这种场景。logistic函数上面提到我们最
转载
2024-04-30 18:01:29
35阅读
一、线性模型预测一个样本的损失量损失量：模型对样本的预测结果和该样本对应的实际结果的差距； 1）为什么会想到用 y = -log(x) 函数?（该函数称为 惩罚函数：预测结果与实际值的偏差越大，惩罚越大） y = 1（p ≥ 0.5）时，cost = -log(p)，p 越小，样本发生概率越小（最小为 0），则损失函数越大，分类预测值和实际值的偏差越大；相反，p 越大，样本发生概率越
转载
2024-04-03 19:50:15
54阅读
一、线性模型预测一个样本的损失量损失量：模型对样本的预测结果和该样本对应的实际结果的差距； 1）为什么会想到用 y = -log(x) 函数?（该函数称为 惩罚函数：预测结果与实际值的偏差越大，惩罚越大） y = 1（p ≥ 0.5）时，cost = -log(p)，p 越小，样本发生概率越小（最小为 0），则损失函数越大，分类预测值和实际值的偏差越大；相反，p 越大，样本发生概率越大（
转载
2023-12-06 19:26:30
107阅读
逻辑回归一句话概括：逻辑回归假设数据服从伯努利分布，通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的，是一种常见的分类算法。1、逻辑回归的基本假设任何模型都是有自己的假设，在这个假设下模型才适用。逻辑回归的基本假设是数据服从伯努利分布。2、逻辑回归的损失函数逻辑回归的损失函数是它的极大似然函数（交叉熵，等同于对数损失）3、逻辑回归的求解方法由于该极大似然函数无法直接求解，
转载
2024-04-08 06:59:20
105阅读
12.支持向量机12.1 SVM损失函数 从逻辑回归到支持向量机为了描述支持向量机，事实上，我将会从逻辑回归开始展示我们如何一点一点修改来得到本质上的支持向量机。逻辑回归公式逻辑回归公式如下图所示， 可以看出逻辑回归公式由两个变量x和\(\theta\)构成，其中x表示输入的数据，而\(\theta\)是可学习的变量，如图中右半部分所示，其图像坐标轴横轴为x.\(h_{\theta}(x)\)是关
转载
2024-06-19 11:20:01
33阅读
为什么需要定义逻辑回归损失函数？ 为了训练logistic回归模型中的参数W和参数b。 网络的训练输出y_hat是对一个训练样本而言的，网络训练的输出不可能和对应的标签一模一样。比如训练样本的标签是1，样本的输出不会是1，可能会是0.1，也有可能是0.5。 输出值与标签值之间存在一个差值， 比如说第一次训练得到的输出y_hat=0.3，差值0.7 第二次训练输出y_hat = 0.2，差值0.8
转载
2023-09-28 18:09:02
81阅读
线性回归：损失函数和假设函数通过前面内容的介绍，我相信你对线性回归算法已经有了初步的认识。那我们应该如何在一大堆数据中求解出“线性方程呢”比如前面提及的房价预测问题？这种问题才是符合实际应用的。数据样本会散落在“线性方程”的周围（下图 2 所示）， 而我们要做就是让线性方程的“直线”尽可能“拟合”周围的数据点。本节我们将从数学角度解析线性回归模型。假设函数通过前面知识的学习，我们知道假设函数是用来
转载
2024-09-17 20:58:57
59阅读
目录1.均方误差损失函数（MSE）2.交叉熵损失2.1 二分类2.2多分类2.3 交叉熵损失 和 KL 散度2.4交叉熵损失函数的梯度3.Hinge Loss 损失函数是机器学习模型的关键部分：定义了衡量模型性能的目标，通过最小化损失函数来确定模型学习的权重参数的设置。有几种不同的常见损失函数可供选择：交叉熵损失、均方误差、huber loss和hinge loss等等。给定一个特定的模
转载
2024-03-21 19:40:05
226阅读
1.MSE损失函数损失函数是机器学习与深度学习里面的重要概念。从名字上就可以看出，损失函数(Loss Function)反应的是模型对数据的拟合程度。一般来说，损失函数越小，说明模型对数据的拟合也越好。同时我们还希望当损失函数比较大的时候，对应的梯度也会比较大，这样梯度下降的时候更新也会快一些。 线性回归中，最常用的就是最小平方误差(MSE)了。MSE也相当简单: 其中，为样本的真实值，为预测值。
转载
2024-06-23 09:08:58
180阅读
在上一篇文章介绍了逻辑回归的模型，并详细讲了其推导过程。为了加深印象，在这篇文章中从对数几率的角度再次探索逻辑回归的推导过程，看看逻辑回归为什么要使用sigmoid函数作为假设。逻辑回归损失函数的推导，也是面试时经常被问到的一个点，我们也从两个角度去学习其损失函数的推导过程。然后再计算损失函数的导数。1.从对数几率看逻辑回归1.1 推导过程一句话总结逻辑回归：逻辑回归假设数据服从伯努利分布，通过极
转载
2024-04-25 16:55:51
122阅读
线性回归和逻辑回归损失函数推导@(数据挖掘) 线性回归和逻辑回归损失函数推导一、线性回归最小二乘loss推导二、logistics回归加sigmoid原因以及交叉熵损失函数推导 一、线性回归最小二乘loss推导我们都知道线性回归是机器学习中最简单，使用范围也很广的一个算法，经典且使用。而它的损失函数最小二乘损失，大家也很熟悉，但是为什么要用最小二乘loss呢？正文开始：&nbs
转载
2024-06-07 15:51:48
55阅读
参考： 百面机器学习 西瓜书02 逻辑回归Logistic Regression（对数几率回归）2.1 逻辑回归和线性回归二者都使用极大似然法来对训练样本进行建模。在求解超参数的过程中，都可以使用梯度下降的方法。逻辑回归处理的是分类问题，线性回归处理的是回归问题，这是两者的最本质的区别。逻辑回归 给定自变量和超参数后，得到因变量的期望，并基于此期望来处理预测分类问题;线性回归求解是真实线性关系的近
转载
2024-05-07 20:05:17
33阅读
SSE(和方差、误差平方和)：The sum of squares due to error MSE(均方差、方差)：Mean squared error RMSE(均方根、标准差)：Root mean squared error R-square(确定系数)：Coefficient of determination Adjusted R-square：Degree-of-freedom adju
转载
2024-05-12 10:53:06
55阅读
在初步接触深度学习的过程中，最先接触到的应该就是逻辑回归，在逻辑回归中有两个非常重要的函数，损失函数与代价函数，今天带大家梳理下这两者之间的关系。首先我们先回顾一下逻辑回归中的输出函数：函数输入 z = x + b经过激活函数： 输出预测值 = σ(z) = σ( + b) &nb
转载
2024-05-10 10:07:37
80阅读
这里既有AI，又有生活大道理，无数渺小的思考填满了一生。目标检测任务的损失函数由两部分构成：Classification Loss和Bounding Box Regeression Loss。Smooth L1 LossL1 Loss（Mean Absolute Error，MAE）平均绝对误差（MAE）是一种用于回归模型的损失函数。MAE 是目标变量和预测变量之间绝对差值之和，因此它衡量的是一组
转载
2024-05-09 23:48:07
226阅读
什么是逻辑回归线性回归预测的是一个连续值，逻辑回归给出的“是”和“否”的回答。Sigmoid函数是一个概率分布函数，给定某个输入，它将输出为一个概率值。逻辑回归损失函数平方差所惩罚的是与损失为同一数量级的情形。对于分类问题，我们最好的使用交叉熵损失函数会更有效。交叉熵会输出一个更大的“损失”。交叉熵损失函数交叉熵刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就
转载
2024-03-28 16:36:48
51阅读
目标检测任务的损失函数由两部分构成：Classification Loss和Bounding Box Regeression Loss。 Smooth L1 LossL1 Loss（Mean Absolute Error，MAE）平均绝对误差（MAE）是一种用于回归模型的损失函数。MAE 是目标变量和预测变量之间绝对差值之和，因此它衡量的是一组预测值中的平均误差大小，而不考虑
转载
2024-02-27 14:28:59
378阅读
