EM 算法是一种迭代算法，1977 年由 Dempster 等人总结提出，用于含隐变量（hidden variable）的概率模型参数的极大似然估计，或极大后验概率估计。EM 算法的每次迭代由两步组成：E 步，求期望（expectation）; M 步，求极大（maximization）。所以这一算法称为期望极大算法（expectation maximization algorithm），简称 E
转载
2023-12-20 13:44:09
161阅读
高斯过程回归(GPR)a基本原理：利用高斯过程回归将可能的数据趋势曲线都保存下来（每条趋势曲线都有自己的置信度，在区间内呈高斯分布），最后在一张图中显示出来，再判断总体的趋势情况。b算法原理：高斯过程GP 高斯过程回归GPR核函数Kernel支持向量机（SVM）通过某非线性变换 φ( x) ，将输入空间映射到高维特征空间。特征空间的维数可能非常高。如果支持向量机的求解只用到内积运算，而在
转载
2023-09-11 15:45:37
306阅读
EM算法有很多的应用:最广泛的就是GMM混合高斯模型、聚类、HMM等等.The EM Algorithm高斯混合模型（Mixtures of Gaussians）和EM算法EM算法求最大似然函数估计值的一般步骤：（1）写出似然函数；（2）对似然函数取对数，并整理；（3）求导数，令导数为0，得到似然方程；（4）解似然方程，得到的参数即为所求.期望最大化算法（EM算法）:优点：1、 简单稳定；2、 通
转载
2023-10-08 20:58:48
147阅读
# EM混合高斯模型的实现
## 引言
EM算法是一种常用的参数估计方法，广泛应用于机器学习和数据挖掘领域。其中，EM混合高斯模型是EM算法的一种特例，用于对数据进行聚类和模式识别。本文将介绍如何使用Python实现EM混合高斯模型，并逐步引导初学者完成整个过程。
## 总体流程
以下是整个实现过程的步骤概览：
| 步骤 | 描述 |
|---|---|
| 1. 数据准备 | 读取数据集，
原创
2023-09-03 08:32:33
85阅读
首先阐述什么是回归问题（数学上就是用曲线拟合一系列点）：回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。通常使用曲线来拟合数据点，目标是使曲线到数据点的距离差异最小 。线性回归公式推导及其原理解析： 1：实质就是构建多元线性方程，然后写成矩阵形式 2：构建出的方程和
转载
2024-01-02 12:02:12
134阅读
一、高斯过程百度对于高斯过程的解释如下：
高斯过程（Gaussian Process, GP）是随机过程之一，是一系列符合正态分布的随机变量在一指数集（index set）内的集合
我认为该解释中的“指数”可以理解为“维度“，按照机器学习的角度，各个指数上的随机变量可以对应地理解为各个维度上的特征。对于一个高斯过程： 设随机变量 ，其中 对应
转载
2024-01-23 13:59:23
58阅读
一、高斯过程百度对于高斯过程的解释如下：
高斯过程（Gaussian Process, GP）是随机过程之一，是一系列符合正态分布的随机变量在一指数集（index set）内的集合
我认为该解释中的“指数”可以理解为“维度“，按照机器学习的角度，各个指数上的随机变量可以对应地理解为各个维度上的特征。对于一个高斯过程： 设随机变量 ，其中
转载
2024-01-23 13:58:38
54阅读
# 使用 Python 实现高斯回归
高斯回归（Gaussian Regression）是一种基于统计学的回归分析方法，它假设数据的分布是高斯（正态）分布的。对于刚入行的开发者，了解这个过程和如何使用 Python 实现是非常重要的。本文将详细介绍高斯回归的实现流程、所需的代码和每步的含义。
## 一、实现流程
在实现高斯回归之前，我们需要明确每一步的流程，下面是一个简单的步骤表格：
|
EM算法EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计。每一次迭代由两步组成：E步，求期望（expectation）；M步，求极大（maximazation）。不断循环直到算法收敛，最后得出参数的估计。之所以要搞得这么麻烦，就是因为有隐变量（latent variable）这个东西的存在，隐变量是无法观测的，这就造成了我们的观测值和想要预测的参数值之间的差距。如果所有的变量都是
转载
2024-01-17 07:49:34
50阅读
__GMM__(Gaussian Mixture Model, 高斯混合模型)是指该算法由多个高斯模型线性叠加混合而成。每个高斯模型称之为component。__GMM算法__描述的是数据的本身存在的一种分布，即样本特征属性的分布，和预测值Y无关。显然GMM算法是无监督的算法，常用于聚类应用中，component的个数就可以认为是类别的数量。回到昨天说的例子：随机选择1000名用户，测量用户的身高
转载
2023-12-01 19:18:12
77阅读
在进行数据分析与建模时，高斯回归是一种非常常用且强大的方法，用于处理复杂的数据问题。本篇文章将详细阐述如何在 Python 中实现高斯回归，包括我们在实施过程中的问题、错误现象以及解决方案，进而帮助大家更好地理解与应对类似问题。
### 用户场景还原
在一次科技会议中，某开发团队的项目经理决心利用高斯回归模型对用户行为进行预测，目的是为了优化产品的用户体验。然而，在运行模型之前，他们在准备数
介绍摘自李航《统计学习方法》EM算法EM算法是一种迭代算法，1977年由Dempster等人总结提出，用于含有隐变量（hidden variable）的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望（expectation）；M步，求极大（maximization）。所以这一算法称为期望极大算法（expectation maximizatio
转载
2024-04-29 23:27:49
28阅读
编者：小便和作者打过几次交道，一直以为是他是已“修成正果”的某某博士，便“毕恭毕敬”地去邀请他写篇牛文。细聊之后才得知小伙子原来是90后，9月份才博士入学。这篇文章对GP进行了深度科普，数学公式是有一些的，但耐心读读，都不是问题的。高斯过程是机器学习领域一个基础的方法，同时又和其他方法有千丝万缕的联系，值得大家研究一下。文中一些细节也欢迎大家和作者一起探讨。另外，推荐下小伙子的刚开的个人博客：h
1.7. 高斯过程高斯过程 (GP) 是一种常用的监督学习方法，旨在解决回归问题和概率分类问题。高斯过程模型的优点如下：预测内插了观察结果(至少对于正则核)。预测结果是概率形式的(高斯形式的)。这样的话，人们可以计算得到经验置信区间并且据此来判断是否需要修改(在线拟合，自适应)在一些区域的预测值。通用性: 可以指定不同的:ref:内核(kernels)<gp_kernels>。虽然该函
转载
2024-01-31 10:12:53
35阅读
注：本文介绍的高斯过程及高斯过程回归通俗易懂，网上好像还没有类似的通俗易懂的高斯过程回归的文章。虽然有少量公式，但是完全可以很快消化。最近meta learning很火，比如MAML等都是和神经网络相结合，而高斯过程在实际场景中有广泛的应用，但是高斯过程的计算复杂度很高，特别是需要多个数据点进行初始化，如果能和meta learning结合，减少初始化的数据点，对高斯过程来说是一项非常实用的技术。
转载
2023-12-07 13:25:16
138阅读
GPR tutorial1. 高斯过程回归原理1.1 高斯过程1.2 高斯过程回归2. python实现高斯过程回归2.1 参数详解2.2 核函数cookbook2.2 代码模版附录-数学基础知识A1 高斯分布的基本性质A2 贝叶斯框架A3 后验预测分布参考资料 1. 高斯过程回归原理高斯过程回归(Gaussian process regression,GPR)是一个随机过程（按时间或空间索引的
转载
2023-10-10 21:59:09
312阅读
1.7. 高斯过程高斯过程 (GP) 是一种常用的监督学习方法，旨在解决*回归问题*和*概率分类问题*。高斯过程模型的优点如下：预测内插了观察结果（至少对于正则核）。预测结果是概率形式的（高斯形式的）。这样的话，人们可以计算得到经验置信区间并且据此来判断是否需要修改（在线拟合，自适应）在一些区域的预测值。通用性: 可以指定不同的:ref:内核(kernels)。虽然该函数提供了常用的内核，但是也可
转载
2023-10-09 12:59:13
285阅读
线性回归是数据科学中最简单也是最重要的算法。无论面试的工作领域是数据科学、数据分析、机器学习或者是量化研究，都有可能会遇到涉及线性回归的具体问题。要想熟练掌握线性回归，需要了解以下知识。注：本文仅涉及理论而非代码。 了解所做假设 本文假设读者对线性回归有一定了解，但在开始介绍之前还是要回顾下线性回归的公式和假设。假设现在有N个观察值，输出向量Y(维度为Nx1)
转载
2024-08-11 17:09:04
97阅读
与k-means一样，给定的训练样本是，我们将隐含类别标签用表示。与k-means的硬指定不同，我们首先认为是满足一定的概率分布的，这里我们认为满足多项式分布，，其中，有k个值{1,…,k}可以选取。而且我们认为在给定后，满足多值高斯分布，即。由此可以得到联合分布。 整个模型简
转载
2024-08-16 18:34:32
41阅读
在开始讲解之前，我要先给看这篇文章的你道个歉，因为《2012.李航.统计学习方法.pdf》中该节的推导部分还有些内容没有理解透彻，不过我会把我理解的全部写出来，而没理解的也会尽可能的把现有的想法汇总，欢迎你和我一起思考，如果你知道为什么的话，还请在评论区留言，对此，不胜感激。 当然，若你对EM算法都一知
转载
2023-09-08 11:25:39
132阅读
