1、样本说明对于一组样本X={xt,t=1,2,...,T}，xt符合i.i.d(独立同分布)，于是就有： --------------------1 取对数（连乘的运算较联和复杂得多，所以用取对数进行简化）： ----------
转载自：Deephub Imba回归分析为许多机器学习算法提供了坚实的基础。在这篇文章中，我们将总结 10 个重要的回归问题和5个重要的回归问题的评价指标。1、线性回归的假设是什么？线性回归有四个假设线性：自变量（x）和因变量（y）之间应该存在线性关系，这意味着x值的变化也应该在相同方向上改变y值。独立性：特征应该相互独立，这意味着最小的多重共线性。正态性：残差应该是正态分布的。同方差性：回归线周
转载
2024-03-22 19:44:22
295阅读
GMM理解： 用高斯混合模型（GMM）的最大期望（EM）聚类 使用高斯混合模型（GMM）做聚类首先假设数据点是呈高斯分布的，相对应K-Means假设数据点是圆形的，高斯分布（椭圆形）给出了更多的可能性。我们有两个参数来描述簇的形状：均值和标准差。所以这些簇可以采取任何形状的椭圆形，因为在x，y方向上都有标准差。因此，每个高斯分布被分配给单个簇。 所以要做聚类首先应该找到数据集的均值和标准差，我们将
转载
2024-08-24 20:54:32
47阅读
高斯混合模型GMM是一个非常基础并且应用很广的模型。对于它的透彻理解非常重要。网上的关于GMM的大多资料介绍都是大段公式，而且符号表述不太清楚，或者文笔非常生硬。本文尝试用通俗的语言全面介绍一下GMM，不足之处还望各位指正。首先给出GMM的定义这里引用李航老师《统计学习方法》上的定义，如下图：定义很好理解，高斯混合模型是一种混合模型，混合的基本分布是高斯分布而已。第一个细节：为什么系数
转载
2024-06-14 22:21:02
735阅读
1.GMM(guassian mixture model) 混合高斯模型，顾名思义，就是用多个带有权重的高斯密度函数来描述数据的分布情况。理论上来说，高斯分量越多，极值点越多，混合高斯密度函数可以逼近任意概率密度函数，刻画模型越精确，需要的训练数据也就越多。2.GMM模型初始化： 即模型参数的初始化，一般采用kmeans或者LBG算法。模型初始化值对模型后期的收敛有极大影响，特别是训练模型的数
转载
2023-07-03 17:44:14
628阅读
极大似然估计我们先从极大似然估计说起，来考虑这样的一个问题，在给定的一组样本x1,x2······xn中，已知它们来自于高斯分布N(u, σ)，那么我们来试试估计参数u，σ。首先，对于参数估计的方法主要有矩估计和极大似然估计，我们采用极大似然估计，高斯分布的概率密度函数如下：我们可以将x1，x2，······，xn带入上述式子，得： 接下来，我们对L(x)两边去对数，得到：于是，我们得到
对于glm模型summary()输出的汇总结果，如何解读是非常重要的，它直接影响得出的结论。
例如下面这样一个输出结果，该如何理解呢？
Call:
glm(formula = bl ~ I, family = gaussian,data = anaData)
Deviance Residuals:
Min 1Q Median
转载
2024-07-06 10:09:45
306阅读
梯度更新规则所以在 RNN 中，通常是前期的层会因为梯度消失和停止学习。因此，RNN 会忘记它在更长的序列中看到的东西，从而只拥有短期记忆。解决方案——LSTM 和 GRU创建 LSTM 和 GRU 可以作为短期记忆的解决方案，它们有一种称为「门」的内部机制，可以调节信息流。这些门可以判断数据在一个序列中该保留或弃用，因此它可以将相关信息传递到较长序列链中进行预测。几乎所有基于循环神经
目标检测 PAA - 高斯混合模型（GMM）和期望最大化算法（EM algorithm）flyfish论文 Probabilistic Anchor Assignment with IoU Prediction for Object Detection关键字: 期望最大化算法(EM算法) expectation maximization algorithm 高斯混合模型( GMM) Gaussia
逻辑回归原理详解逻辑回归主要用于解决分类问题，并且是对于概率的分类，例如今天是雨天还是晴天，是雨天就是0概率，是晴天就是1概率。通常我们预测出的情况是今天是晴天的概率值。谈及逻辑回归的原理，需要先从广义线性回归（GLM）讲起：广义线性回归（GLM）广义线性回归满足以下的三个条件：对于参数，y|x满足指数族分布,为充分统计量，对于预测值指数族分布被称为自然参数被称为充分统计量，常用的是被称为对割函数
转载
2024-06-12 21:29:52
197阅读
知识点进程和线程:进程和线程都是一个时间段的描述，是CPU工作时间段的描述，不过是颗粒大小不同.进程就是包换上下文切换的程序执行时间总和 = CPU加载上下文+CPU执行+CPU保存上下文.线程是共享了进程的上下文环境的更为细小的CPU时间段。判别式模型和生成式模型:判别式模型直接学习决策函数f(X)或条件概率分布P(Y|X)作为预测的模型.往往准确率更高,并且可以简化学习问题.如k近邻法/感知机
一、主要内容1、线性回归高斯分布极大似然最小二乘梯度下降2、logistic回归分类问题的首选算法二、线性回归1、线性回归定义回归模型描述的是一个因变量(Y)和一个或多个自变量之间(X)的关系，而线性回归描述的是不同的自变量对因变量都有不同的作用效果我们称作权重（θ）,并且他们对因变量产生的影响都是线性可加的，可以描述为：直白说就是通过拟合自变量与因变量之前的线性关系，将自变量的值传入模型中得到因
转载
2024-08-11 15:20:04
39阅读
高斯模型就是用高斯概率密度函数（正态分布曲线）精确地量化事物，将一个事物分解为若干的基于高斯概率密度函数（正态分布曲线）形成的模型。 对图像背景建立高斯模型的原理及过程：图像灰度直方图反映的是图像中某个灰度值出现的频次，也可以以为是图像灰度概率密度的估计。如果图像所包含的目标区域和背景区域相比比较大，且背景区域和目标区域在灰度上有一定的差异，那么该
转载
2024-08-15 10:09:17
24阅读
GMM Gaussian Mixture Model 高斯混合模型每个GMM由K个Gaussian分布组成，每个Gaussian称为一个“Component”，这些Component 线性加成在一起就组成了GMM 的概率密度函数：根据上面的式子，如果我们要从 GMM 的分布中随机地取一个点的话，实际上可以分为两步：首先随机地在这 K个Gaussian Component 之中选一个，每个 Comp
GLM：线性回归GLM即Generalized linear model，广义线性模型。 贝叶斯统计的一些软件工具包JAGS, BUGS, Stan 和 PyMC，使用这些工具包需要对将要简历的模型有充分的了解。线性回归的传统形式通常，频率学派将线性回归表述为： Y=Xβ+ϵ 其中，
Y 是我们期望预测的输出（因变量）； X 是预测因子（自变量）；
β 是待估计的模型系数（参数）；
转载
2024-03-28 03:50:05
678阅读
1.查看数据查看数据类型import pandas as pd
data = pd.read_csv ('Fremont.csv', index_col='Date', parse_dates=True)
data.head()
data.tail()绘图data.plot();数据重采样，按天进行计算data.resample('D').sum().head()数据重采样，按周进行计算，看看这两
转载
2024-06-17 21:45:05
656阅读
根据模型的数学原理进行简单的代码自我复现以及使用测试，仅作自我学习用。模型原理此处不作过多赘述，仅罗列自己将要使用到的部分公式。有时某些数据不是简单地服从单个正态分布，而是服从由多个正态分布线性组合的复合分布。此时我们便使用GMM模型分析其内部的正态分布模型，将数据分为多个服从正态分布的类。其中，为第k个正态分布的权重系数。我们使用EM算法估算各个正态分布的期望方差矩阵。E步通过和估算后验概率，M
1. 工具变量（IV）方法是解决内生性问题的一种重要技术。为确保使用工具变量得到的结果是可靠的，工具变量需要满足以下三个主要假设条件：相关性（Relevance）: 工具变量必须与内生解释变量（自变量）有强烈的统计相关性。这意味着工具变量能有效地解释内生变量的变动，从而在第一阶段的回归中产生准确的预测值。如果工具变量与内生变量的相关性较弱，会导致所谓的“弱工具变量”问题，这可能会使得估计结果不稳定
转载
2024-09-04 14:25:51
381阅读
【回归分析】[3]--回归方程的显著性检验 这篇文章准备使用一个例子来说明。 例子的数据：
data2 = {{391.95, 488.51}, {516.98, 798.30}, {355.63,
235.08}, {238.55, 299.45}, {537.78, 559.09}, {733.78,
1133.25}, {198.83, 348.74
转载
2024-05-10 00:37:09
69阅读
今天要来讨论的是EM算法。第一眼看到EM我就想到了我大枫哥，EM Master，千里马，RUA!!!不知道看这个博客的人有没有懂这个梗的。好的，言归正传，今天要讲的EM算法，全称是Expectation maximization，期望最大化。怎么个意思呢，就是给你一堆观测样本，让你给出这个模型的参数估计。我靠，这套路我们前面讨论各种回归的时候不是已经用烂了吗？求期望，求对数期望，求导为0，得到参数
转载
2024-06-20 13:26:25
60阅读
