目录0 参考资料1 高斯过程定义2 高斯过程回归（Gaussian Process Regression）0 参考资料[1] 文字资料：Gaussian Processes for Machine Learning[2] 视频讲解：机器学习-白板推导系列(二十)-高斯过程GP(Gaussian Process)（目测视频中的内容也是借鉴的上面的文字资料，不过通过讲解可能更好懂一些，视频中完整讲述了
最近在做高斯回归过程小车倒摆实验。修改了Actor中网络神经元后，及Critic中Batch后，打算看看核函数。内核操作是把1~2个基内核与新内核进行合并。内核类 Sum通过 相加来合并 和 内核。内核类 Product通过 把 和 内核进行合并。内核类 Exponentiation通过 把基内核与 常量参数 进行合并。1.径向基函数内核RBF内核是一个固定内核，它也被称为“平方指数”内核。它通过
转载
2024-04-07 14:21:27
106阅读
一、Kernels I（核函数I）在非线性函数中，假设函数为：将表达式改变一下，将其写为：联想到上次讲到的计算机视觉的例子，因为需要很多像素点，因此若f用这些高阶函数表示，则计算量将会很大，那么对于我们有没有更好的选择呢?由此引入核函数的概念。对于给定的x，其中，similarity()函数叫做核函数（kernel function）又叫做高斯核函数，其实就是相似度函数，但是我们平时写成。这里将代
转载
2024-04-04 20:08:06
0阅读
线性回归（linear regression）是最基础的机器学习、统计学习模型，一般出现在教材或者科普读物的前两章。今天要从线性回归为起点，串讲一些机器学习的概念。这篇文章更像是地图，只给出了地名，而非具体过程。但当你有了地图，按图索骥即可。所以本文的目标是把分散的概念联系起来，从最简单的线性回归说到...主动学习（可能也会包含一点强化学习）。这篇文章我们会先从最简单线性回归入手，从
转载
2024-08-23 16:25:03
69阅读
核函数K（kernel function）就是指K(x, y) = <f(x), f(y)>，其中x和y是n维的输入值，f(·) 是从n维到m维的映射（通常，m>>n）。<x, y>是x和y的内积（inner product）(也称点积（dot product）)。
1. Linear Kernel
线性核是最简
转载
2024-04-14 00:05:01
193阅读
核映射与核函数通过核函数，支持向量机可以将特征向量映射到更高维的空间中，使得原本线性不可分的数据在映射之后的空间中变得线性可分。假设原始向量为x，映射之后的向量为z，这个映射为：在实现时不需要直接对特征向量做这个映射，而是用核函数对两个特征向量的内积进行变换，这样做等价于先对向量进行映射然后再做内积：在这里K为核函数。常用的非线性核函数有多项式核，高斯核（也叫径向基函数核，RBF）。下表列出了各种
转载
2024-01-02 13:40:20
155阅读
SVM（核函数、高斯核函数RBF）一、核函数（Kernel Function） 1）格式K(x, y)：表示样本 x 和 y，添加多项式特征得到新的样本 x'、y'，K(x, y) 就是返回新的样本经过计算得到的值；在 SVM 类型的算法 SVC() 中，K(x, y) 返回点乘：x' . y' 得到的值； 2）多项式核函数业务问题：怎么分类非线性可分的样本的分类？内
转载
2024-03-14 18:02:18
177阅读
引言：对于SVM的核函数，许多初学者可能在一开始都不明白核函数到底是怎么做到从二维空间映射到三维空间（这里我们特征空间以二维为例），因此本文主要讲解其中一种核函数-------高斯核函数作为介绍，另外感谢Andrew Ng在网易云课堂深入浅出的讲解，不但加深了我的理解，也为我写这篇博客提供了不少素材。代价函数： 相比于Logistic Regression的代价函数： + SVM的代价函数只是
转载
2024-01-28 17:14:27
274阅读
3.1 长度首先，以一个简单的线性回归问题（一条直线拟合数据的问题），来直观的体会“长度”。a)对数据（z,d）的最小二乘直线拟合；b)那么，最佳的拟合直线所具有模型参数（截距和斜率）将使总误差E最小，即 式中，总误差恰恰使向量的欧几里得长度。从长度方法的观点来看，最小二乘法是通过寻找预测误差的最小长度所对应的模型参数（截距和斜率）来估计反问题的解。通常来讲在，求解反问题的过程中使用长度方法是最简
转载
2024-08-07 01:58:17
204阅读
【文章结构】1 Introduction: 从高斯分布到高斯过程2 高斯过程回归 Gaussian Process Regression3 代码示例 （包含对于一个简单 GPR 示例的 python 和 matlab 两种语言的代码）1 Introduction: 从高斯分布到高斯过程1.1 多元高斯分布 进一步的，令从而可得多元高斯分布的向量化表示：（留意上式中的 ，它与下文将要介绍的 kern
转载
2024-03-15 10:38:02
0阅读
一. 高斯马尔科夫定理是什么高斯马尔科夫定理说：对于线性回归模型，在某些约束条件下，由最小二乘法得到的估计量（估计子），即线性回归模型的系数，是最优的线性无偏估计子。也就是说高马解决的问题是线性回归模型，他的作用是给出线性模型的系数估计。1. 线性回归模型： &
1、支持向量机：支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类（binary classification）的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面（maximum-margin hyperplane）。SVM的目的
摘要 论文中遇到很重要的一个元素就是高斯核函数，但是必须要分析出高斯函数的各种潜在属性，本文首先参考相关材料给出高斯核函数的基础，然后使用matlab自动保存不同参数下的高斯核函数的变化gif动图，同时分享出源代码，这样也便于后续的论文写作。高斯函数的基础2.1 一维高斯函数高斯函数，Gaussian Function， 也简称为Gaussian，一维形式如
转载
2024-01-06 20:08:17
221阅读
支持向量机是一个特定的优化问题，但是我不建议你自己去手动实现这一算法来求解参数θ这里推荐两个我最常用到的库：liblinear和libsvm。尽管你不需要自己去实现SVM，但你也需要做以下几件事：选择参数CC选择核函数（相似度函数）1 核函数的选择1.1 线性核函数（无核函数）当你的特征数量n很大，但数据量m很小时，由于数据量不足，在这种情况下如果使用其他核函数，你可能会过拟合，因此，此时线性核函
转载
2024-07-26 10:53:19
245阅读
线性回归与逻辑回归线性回归LinearRegression逻辑回归LogisticRegression正则化选择参数：penalty优化算法选择参数：solver补充建议先了解一下相关基础内容 线性回归LinearRegression回归Regression是监督学习的一个重要问题，回归用于预测输入变量和输出变量之间的关系，特别是当输入变量的值发生变化时，输出变量的值也随之发生变化。回归模型正是
转载
2024-06-14 12:50:53
99阅读
微信公号：Mat物语科研数据分析关注Mat物语的同学们，放假了没有啊？反正物语的单位是放假了，终于有个大假期。最近一段时间因为忙，耽误了更新文章，过节期间会尽（kan）量（xin）多（qing）写几篇。最近除了单位工作量大和家务繁忙，主要是受一位同学的委托，新建了几个方法，以后大家就可以在Mat物语的服务中有更多选择了。 1月份新建了三种回归模型，相对来说都是比较复杂的。三种方法分别是广义线性模型
转载
2023-12-17 13:38:39
122阅读
1、线性核优点：方案首选，奥卡姆剃刀定律，简单，可以求解较快一个QP问题，可解释性强：可以轻易知道哪些feature是重要的，限制：只能解决线性可分问题2、多项式核基本原理：依靠升维使得原本线性不可分的数据线性可分；升维的意义：使得原本线性不可分的数据线性可分；优点：可解决非线性问题，可通过主观设置幂数来实现总结的预判缺点：对于大数量级的幂数，不太适用比较多的参数要选择，通常只用在已经大概知道一个
转载
2023-11-25 12:52:29
72阅读
透彻理解高斯过程Gaussian Process (GP) 一、整体说说为了理解高斯过程，我们就首先需要了解如下预备知识，即：高斯分布（函数）、随机过程、以及贝叶斯概率等。明白了这些预备知识之后才能顺利进入高斯过程，了解高斯过程本质及其高斯过程描述方法。人们又将高斯过程与贝叶斯概率有机结合在一起，构造了强大的数学方法（或称模型），为人类提供解决日常生活和工作的问题。特别是在人工智能领域更是意义非凡
转载
2024-01-02 22:23:37
139阅读
写在前面之前只停留在理论上，没有实际沉下心去调参，实际去做了后，发现调参是个大工程（玄学）。于是这篇来总结一下sklearn中svm的参数说明以及调参经验。方便以后查询和回忆。常用核函数1.linear核函数: K(xi,xj)=xTixjK(xi,xj)=xiTxj 2.polynomial核函数: K(xi,xj)=(γxTixj+r)d,d>1K(xi,xj)=(γxiTxj+r
转载
2024-08-12 14:43:37
214阅读
1.背景介绍高斯核(Gaussian Kernel)在机器学习和数据挖掘领域具有广泛的应用。它是一种常用的核函数，用于处理高维数据和非线性关系。在本文中，我们将深入探讨高斯核在密度估计和分布分析中的应用，并揭示其在这些领域的优势。1.1 密度估计与分布分析密度估计是一种常用的统计学方法，用于估计数据中的概率分布。密度估计的目标是根据观测数据，得到一个函数f(x)，使得f(x)在某种意义上近似于数据
转载
2024-10-12 17:28:33
140阅读
