【文章结构】1 Introduction: 从高斯分布到高斯过程2 高斯过程回归 Gaussian Process Regression3 代码示例 （包含对于一个简单 GPR 示例的 python 和 matlab 两种语言的代码）1 Introduction: 从高斯分布到高斯过程1.1 多元高斯分布 进一步的，令从而可得多元高斯分布的向量化表示：（留意上式中的 ，它与下文将要介绍的 kern
转载
2024-03-15 10:38:02
0阅读
文章目录超参数的设定1.权重初始化。2.
η
\eta
η3.规范化参数4.小批量数据大小(minibatch)5.
转载
2024-04-22 21:39:18
147阅读
线性回归与逻辑回归线性回归LinearRegression逻辑回归LogisticRegression正则化选择参数：penalty优化算法选择参数：solver补充建议先了解一下相关基础内容 线性回归LinearRegression回归Regression是监督学习的一个重要问题，回归用于预测输入变量和输出变量之间的关系，特别是当输入变量的值发生变化时，输出变量的值也随之发生变化。回归模型正是
转载
2024-06-14 12:50:53
99阅读
微信公号：Mat物语科研数据分析关注Mat物语的同学们，放假了没有啊？反正物语的单位是放假了，终于有个大假期。最近一段时间因为忙，耽误了更新文章，过节期间会尽（kan）量（xin）多（qing）写几篇。最近除了单位工作量大和家务繁忙，主要是受一位同学的委托，新建了几个方法，以后大家就可以在Mat物语的服务中有更多选择了。 1月份新建了三种回归模型，相对来说都是比较复杂的。三种方法分别是广义线性模型
转载
2023-12-17 13:38:39
124阅读
目录0 参考资料1 高斯过程定义2 高斯过程回归（Gaussian Process Regression）0 参考资料[1] 文字资料：Gaussian Processes for Machine Learning[2] 视频讲解：机器学习-白板推导系列(二十)-高斯过程GP(Gaussian Process)（目测视频中的内容也是借鉴的上面的文字资料，不过通过讲解可能更好懂一些，视频中完整讲述了
选自Distill，作者：Jochen Görtler、Rebecca Kehlbeck、Oliver Deussen，参与：Yi Bai、张倩、王淑婷。 高斯过程可以让我们结合先验知识，对数据做出预测，最直观的应用领域是回归问题。本文作者用几个互动图生动地讲解了高斯过程的相关知识，可以让读者直观地了解高斯过程的工作原理以及如何使其适配不同类型的数据。引言即使读过一些机器学习相关的书，你也未必听
转载
2024-03-18 15:29:05
226阅读
0摘要高斯过程是贝叶斯学习的主要方法之一。 尽管该方法已经成功地应用于许多问题，但它有一些基本的局限性。 文献中的多种方法已经解决了这些限制。 但是，到目前为止，还没有对这些主题进行全面的调查。 大多数现有调查只关注高斯过程的一种特定变体及其衍生物。 本调查详细介绍了使用高斯过程的核心动机、其数学公式、局限性和多年来为解决上述局限性而出现的研究主题。 此外，一个特定的研究领域是深度高斯过程 (DG
转载
2024-07-19 15:37:13
260阅读
1.7. 高斯过程高斯过程 (GP) 是一种常用的监督学习方法，旨在解决*回归问题*和*概率分类问题*。高斯过程模型的优点如下：预测内插了观察结果（至少对于正则核）。预测结果是概率形式的（高斯形式的）。这样的话，人们可以计算得到经验置信区间并且据此来判断是否需要修改（在线拟合，自适应）在一些区域的预测值。通用性: 可以指定不同的:ref:内核(kernels)。虽然该函数提供了常用的内核，但是也可
转载
2023-10-09 12:59:13
285阅读
编者：小便和作者打过几次交道，一直以为是他是已“修成正果”的某某博士，便“毕恭毕敬”地去邀请他写篇牛文。细聊之后才得知小伙子原来是90后，9月份才博士入学。这篇文章对GP进行了深度科普，数学公式是有一些的，但耐心读读，都不是问题的。高斯过程是机器学习领域一个基础的方法，同时又和其他方法有千丝万缕的联系，值得大家研究一下。文中一些细节也欢迎大家和作者一起探讨。另外，推荐下小伙子的刚开的个人博客：h
1.7. 高斯过程高斯过程 (GP) 是一种常用的监督学习方法，旨在解决回归问题和概率分类问题。高斯过程模型的优点如下：预测内插了观察结果(至少对于正则核)。预测结果是概率形式的(高斯形式的)。这样的话，人们可以计算得到经验置信区间并且据此来判断是否需要修改(在线拟合，自适应)在一些区域的预测值。通用性: 可以指定不同的:ref:内核(kernels)<gp_kernels>。虽然该函
转载
2024-01-31 10:12:53
35阅读
注：本文介绍的高斯过程及高斯过程回归通俗易懂，网上好像还没有类似的通俗易懂的高斯过程回归的文章。虽然有少量公式，但是完全可以很快消化。最近meta learning很火，比如MAML等都是和神经网络相结合，而高斯过程在实际场景中有广泛的应用，但是高斯过程的计算复杂度很高，特别是需要多个数据点进行初始化，如果能和meta learning结合，减少初始化的数据点，对高斯过程来说是一项非常实用的技术。
转载
2023-12-07 13:25:16
138阅读
使用不同核函数的高斯过程高斯过程像所有其他机器学习模型一样，高斯过程是一个简单预测的数学模型。像神经网络一样，它可以用于连续问题和离散问题，但是其基础的一些假设使它不太实用。但是，过去5年左右的时间里，尽管没有多少人真正知道它们是什么，如何使用或为什么很重要，但该领域的研究却令人难以置信。像Secondmind这样的初创公司；像卡尔·拉斯穆森（Carl Rasmussen），尼尔·劳伦斯（Neil
转载
2023-12-11 00:56:11
239阅读
前言 高斯过程回归的和其他回归算法的区别是：一般回归算法给定输入X，希望得到的是对应的Y值，拟合函数可以有多种多样，线性拟合、多项式拟合等等，而高斯回归是要得到函数f(x)的分布，那么是如何实现的呢？ 对于数据集 ，令 ，
转载
2023-08-05 17:48:56
384阅读
文章目录1.背景介绍1.1 思维导图1.2 详解Gaussian-Process2.权重空间角度2.1 回顾贝叶斯回归2.2 核技巧引出2.3 核技巧分析2.4 小结3.权重空间到函数空间3.1 高斯过程定义3.2 回顾权重空间贝叶斯角度3.3 小结4.函数空间角度4.1 背景4.2 已知联合概率求解条件概率4.3 小结 1.背景介绍高斯过程英文名为Gaussian-Process,这里得高斯指
转载
2023-10-08 15:03:37
194阅读
Sklearn官方文档中文整理5——高斯过程篇1. 监督学习1.7. 高斯过程1.7.1. 高斯过程回归（GPR）【gaussian_process.GaussianProcessRegressor】1.7.2. GPR 示例1.7.2.1. 具有噪声级的 GPR 估计1.7.2.2. GPR 和内核岭回归（Kernel Ridge Regression）的比较1.7.2.3. Mauna Lo
转载
2023-11-06 18:29:51
266阅读
网上讲高斯过程回归的文章很少，且往往从高斯过程讲起，我比较不以为然：高斯过程回归（GPR）， 终究是个离散的事情，用连续的高斯过程( GP) 来阐述，简直是杀鸡用牛刀。所以我们这次直接从离散的问题搞起，然后把高斯过程逆推出来。这篇博客有两个彩蛋，一个是揭示了高斯过程回归和Ridge回归的联系，另一个是介绍了贝叶斯优化具体是怎么搞的。后者其实值得单独写一篇博客，我在这里就是做一个简单介绍好了，但没准
转载
2024-08-30 07:35:46
45阅读
python风控评分卡建模和风控常识(博客主亲自录制视频教程) 高斯过程（gaussian process） 可用于回归和分类器高斯过程主要应用于各领域的建模和预报，在时间序列分析中，高斯过程被用于时间序列的多步前向预报（multi-step-ahead prediction） [14] 、在信号处理中，高斯过程建模是处理非线性信号的工具 [15]&
说说高斯过程回归机器学习&数据挖掘笔记_11（高斯过程回归） 在网上找了许久，终于找到几篇关于介绍这方面的文章，在第一篇文章的链接中，我们可以去下载一些demo不过没看明白，程序也没调通。大神们，可以在试试。 何为高斯过程回归：其实分为两个过程，高斯过程+回归。高斯过程：其实就是在函数上的正态分布。它是由多个高斯函数组成的线性集合。小知识：高斯分布其实就是正态分布，我们
转载
2024-02-10 14:54:44
111阅读
introduction监督学习一般有两种处理，一种是根据经验特点严格限制为莫一种模型和函数，比如用线性回归模型处理；另外一种就是更宽泛：给每一种函数模型一个先验概率，概率越大意味着越容易被我们采纳，意味它具有某种更好的性质，比如更为光滑（可以参考核密度估计的由来）。后者麻烦在函数模型是个无限集，如何处理？我们便推出一种【高斯过程】：是高斯分布的广义泛化。【随机过程】宽泛的解释是把函数值视为一个长
转载
2024-03-08 23:48:58
203阅读
一、概述将⼀维高斯分布推⼴到多变量中就得到了高斯网络，将多变量推⼴到无限维，就得到了高斯过程。高斯过程是定义在连续域（时间/空间）上的无限多个高斯随机变量所组成的随机过程。具体的形式化的定义如下：对于时间轴上的随机变量序列，是一个连续域，如果，，满足，那么就是一个高斯过程（Gaussian Process）。上面的定义中称为index，是随机变量。一个高斯过程可以有两个函数，即均值函数和协方差函数
转载
2024-04-26 12:16:16
63阅读
