1.背景知识
在刚刚结束的天猫大数据s1比赛中，逻辑回归是大家都普遍使用且效果不错的一种算法。
（1）回归
先来说说什么是回归，比如说我们有两类数据，各有50十个点
逻辑回归：逻辑回归又称logistic回归分析，它将数据拟合到一个logit函数或者是logistic函数中，从而能够完成对事件发生的概率进行预测，它使用一个Sigmoid函数来归一化y值，使y的取值在区间(0,1)内，是解决二分类问题的利器。
转载
2023-05-22 22:51:24
255阅读
极大似然估计（MLE）和极大后验估计（MAP）分别是频率学派和贝叶斯学派（统计学者分为两大学派，频率学派认为参数是非随机的，而贝叶斯学派认为参数也是随机变量）的参数估计方法，下面我们以线性回归分析为例，分别简要介绍MLE和MAP，两者的关系以及分别与最小二乘回归、正则化最小二乘回归分析的关系。（非常不专业和严谨，只希望通过最直接的方式帮助初学者理解这两种估计）。线性回归问题：给定观测数据(机器学习
转载
2023-07-05 21:30:42
131阅读
相比于线性回归，逻辑回归从概率层面建模，那么因为概率的多少可以用于判断他属不属于某种情况，比如害虫报告的发现次数判断它有没有被消灭的概率，故一般用于二分类(已消灭或尚未消灭)那么问题来了，如何看逻辑回归是更好地对数据进行拟合呢？ 由此引入一个概念，最大似然法（Maximum likelihood method） 极大似然估计方法（Maximum Likelihood Estimate，MLE）也称
转载
2024-04-02 09:13:57
84阅读
1、前言MLE：MVU估计量的一种替代形式。在MVU估计量不存在或者存在但无法求解情况下，MLE十分有效。它是居于最大似然原理的估计，是最通用的获取实用估计的一种方法。MLE的特点：当观测数据足够多时，其性能是最优的，特别是它的近似率极高，因此非常接近MVU估计量。其近似的本质就是对足够多的数据记录，MLE具有渐进有效性（即可达CRLB）。标量参数的MLE定义：对于固定的 x，使 &nb
下面将详细讲解推导逻辑回归sigmod激活函数、逻辑回归损失函数、逻辑回归梯度下降，只作为自己学习笔记。一句话总结逻辑回归：逻辑回归假设数据服从伯努利分布，通过极大似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。逻辑回归全方位推导1 问题引出由问题引出sigmod激活函数存在意义：线性回归模型预测值为连续的实数，而对于预测二分类任务的样本标签为0和1时，线性回归模型似乎不能很好的
转载
2024-05-10 20:20:17
59阅读
最大似然估计(Maximum Likelihood Estimation)是一种可以生成拟合数据的任何分布的参数的最可能估计的技术。它是一种解决建模和统计中常见
原创
2024-05-15 13:43:39
160阅读
Logistic回归或者叫逻辑回归，虽然名字里有回归二字，但它是用来做分类的。其主要思想为：根据现有数据对分类界线建立回归公式，以此进行分类。logistic回归是一种分类方法，常用于两分类问题。为概率型非线性回归模型，是研究二分类观察结果与一些影响因素之间关系的一种多变量分析方法。通常的问题是，研究某些因素条件下某个结果是否发生，比如医学中根据病人的一些症状来判断它是否患有某种病。相关概念回归概
转载
2024-04-22 13:46:37
64阅读
Density estimation是learning中常见的一个task,即
转载
2023-06-30 22:36:41
324阅读
线性回归令 ，得到：于是：为啥是 ，因为判别模型的输出只能是 。它的概率密度函数：计算损失函数：所以 就相当于 。结果和最小二乘是一样的。逻辑回归令 ，我们观察到在假设中：也就是说：其实任何二分类器的输出都是伯努利分布。因为变量只能取两个值，加起来得一，所以只有一种分布。它的概率质量函数（因为是离散分布，只有概率质量函数，不过无所谓）：然后计算损失函数：和交叉熵是一致的。可以看出，在线性回归的场
原创
2018-10-24 15:46:48
66阅读
从《高斯—马尔可夫定理》和《参数条件协方差矩阵的估计》我们知道现代高斯—马尔可夫定理认为广义最小二乘法的参数估计量
是满足“线性关系”、“随机抽样”、“不存在完全共线性”、“条件均值为零”等假设时，
最有效的线性无偏估计量。而且通过对误差方差估计量的研究我们也可以通过
对残差
进行调整得到
条件协方差矩阵的最佳估计量
和
。这里只剩下最后一个问题：
转载
2024-05-13 14:15:45
50阅读
一、问题描述一元线性回归分析时一种非常简单也是非常基本的回归理论，能够用来刻画两个变量之间的以线性关系的变化趋势，进而预测未知点处的数据。 回归分析就是根据已知数据的变化趋势来确定回归函数（方程），其中回归系数待定，而后利用一些数值方法或者统计方法来估计回归系数。 一元线性回归分析就是估计方程y=kx+b是中的系数k和b，常见的方法有：计算数学的方法——最小二乘法、统计方法——最大似然估计法、机器
转载
2024-07-10 14:01:08
126阅读
最大似然估计（MLE）的最大后验概率估计（MAP）区别详解一、总结一句话总结：最大似然估计（Maximum likelihood estimation, 简称MLE）和最大后验概率估计（Maximum a posteriori estimation, 简称MAP）是很常用的两种【参数估计方法】 1、概率和统计是一个东西吗？概率是已知模型和参数，推数据。统计是已知数据，推模型和参数。概率研究的问题是
转载
2020-11-09 00:48:00
138阅读
2评论
浅议极大似然估计背后的思想原理
原创
精选
2023-07-21 10:24:18
185阅读
0 引言在机器学习的理论学习理论中往往会遇到“极大似然估计”的概念，极大似然估计的求解过程非常简单致使我们往往会忽律其背后的原理。当我彻底弄懂了极大似然估计的背后的思想后对机器学习算法的理解有了本质上的提高。下面让我们通过通俗并且轻松的方式去学习“极大似然估计”背后的思想以及在机器学习中的应用。当然随着对理论的认识的不断加深还会不断更新此文章。1 通俗理解极大似然估计(Maximum
转载
2023-11-20 15:39:13
182阅读
https://zhuanlan.zhihu.com/p/32480810 TLDR (or the take away) 频率学派 - Frequentist - Maximum Likelihood Estimation (MLE，最大似然估计) 贝叶斯学派 - Bayesian - Maxim
原创
2021-07-09 16:29:06
895阅读
本文主要介绍了假设检验的异常点检验和DW检验，最后介绍了区间估计问题和预测问题。
目录Chapter 8：假设检验与区间估计(2)4.5 异常点检验4.6 Durbin-Watson 检验4.7 回归系数的区间估计4.8 因变量的预测Chapter 8：假设检验与区间估计(2)4.5 异常点检验在统计学中，异常点是泛指在一组数据中，与它们的主题不是来自同
转载
2023-11-12 23:12:52
190阅读
导读：极大似然估计(MLE) 是统计机器学习中最基本的概念，但是能真正全面深入地理解它的性质和背后和其他基本
转载
2021-07-13 14:55:21
539阅读
何为：最大似然估计（MLE）： 最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。可以通过采样，获取部分数据，然后通过最大似然估计来获取已知模型的参数。 最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。利用已知的样本结果，反推最有可能（最大概
转载
2018-01-14 19:31:00
560阅读
2评论
极大似然估计(MLE，Maximum Likelihood Estimation)概率模型的训练过程就是参数估计的过程，最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。假设:所有的采样都是服从独立同分布； 由上可知最大似然估计的一般求解过程：写出似然函数；对似然函数取对数，并整理；求导数 ；解似然方程极大似然估计，只是一种概率论在统计学的应用，它是参数估计
转载
2024-06-05 05:52:45
37阅读
