3.1 长度首先，以一个简单的线性回归问题（一条直线拟合数据的问题），来直观的体会“长度”。a)对数据（z,d）的最小二乘直线拟合；b)那么，最佳的拟合直线所具有模型参数（截距和斜率）将使总误差E最小，即 式中，总误差恰恰使向量的欧几里得长度。从长度方法的观点来看，最小二乘法是通过寻找预测误差的最小长度所对应的模型参数（截距和斜率）来估计反问题的解。通常来讲在，求解反问题的过程中使用长度方法是最简
转载
2024-08-07 01:58:17
207阅读
目录0 参考资料1 高斯过程定义2 高斯过程回归（Gaussian Process Regression）0 参考资料[1] 文字资料：Gaussian Processes for Machine Learning[2] 视频讲解：机器学习-白板推导系列(二十)-高斯过程GP(Gaussian Process)（目测视频中的内容也是借鉴的上面的文字资料，不过通过讲解可能更好懂一些，视频中完整讲述了
最近在做高斯回归过程小车倒摆实验。修改了Actor中网络神经元后，及Critic中Batch后，打算看看核函数。内核操作是把1~2个基内核与新内核进行合并。内核类 Sum通过 相加来合并 和 内核。内核类 Product通过 把 和 内核进行合并。内核类 Exponentiation通过 把基内核与 常量参数 进行合并。1.径向基函数内核RBF内核是一个固定内核，它也被称为“平方指数”内核。它通过
转载
2024-04-07 14:21:27
106阅读
（1）核函数发展历史 早在1964年Aizermann等在势函数方法的研究中就将该技术引入到机器学习领域，但是直到1992年Vapnik等利用该技术成功地将线性SVMs推广到非线性SVMs时其潜力才得以充分挖掘。而核函数的理论则更为古老，Mercer定理可以追溯到1909年，再生核希尔伯特空间(ReproducingKernel Hilbert Space, R
转载
2024-03-26 12:01:49
81阅读
一、Kernels I（核函数I）在非线性函数中，假设函数为：将表达式改变一下，将其写为：联想到上次讲到的计算机视觉的例子，因为需要很多像素点，因此若f用这些高阶函数表示，则计算量将会很大，那么对于我们有没有更好的选择呢?由此引入核函数的概念。对于给定的x，其中，similarity()函数叫做核函数（kernel function）又叫做高斯核函数，其实就是相似度函数，但是我们平时写成。这里将代
转载
2024-04-04 20:08:06
0阅读
线性回归（linear regression）是最基础的机器学习、统计学习模型，一般出现在教材或者科普读物的前两章。今天要从线性回归为起点，串讲一些机器学习的概念。这篇文章更像是地图，只给出了地名，而非具体过程。但当你有了地图，按图索骥即可。所以本文的目标是把分散的概念联系起来，从最简单的线性回归说到...主动学习（可能也会包含一点强化学习）。这篇文章我们会先从最简单线性回归入手，从
转载
2024-08-23 16:25:03
69阅读
SVM（核函数、高斯核函数RBF）一、核函数（Kernel Function） 1）格式K(x, y)：表示样本 x 和 y，添加多项式特征得到新的样本 x'、y'，K(x, y) 就是返回新的样本经过计算得到的值；在 SVM 类型的算法 SVC() 中，K(x, y) 返回点乘：x' . y' 得到的值； 2）多项式核函数业务问题：怎么分类非线性可分的样本的分类？内
转载
2024-03-14 18:02:18
177阅读
核函数是我们处理数据时使用的一种方式。对于给的一些特征数据我们通过核函数的方式来对其进行处理。我们经常在SVM中提到核函数，就是因为通过核函数来将原本的数据进行各种方式的组合计算，从而从低维数据到高维数据。比如原来数据下样本点1是x向量，样本点2是y向量，我们把它变成e的x+y次方，就到高维中去了。 把数据映射到高维在我们直观上理解起来是很难的，其实也并不用深刻理解，因为
转载
2024-05-10 11:32:58
228阅读
一. 高斯马尔科夫定理是什么高斯马尔科夫定理说：对于线性回归模型，在某些约束条件下，由最小二乘法得到的估计量（估计子），即线性回归模型的系数，是最优的线性无偏估计子。也就是说高马解决的问题是线性回归模型，他的作用是给出线性模型的系数估计。1. 线性回归模型： &
透彻理解高斯过程Gaussian Process (GP) 一、整体说说为了理解高斯过程，我们就首先需要了解如下预备知识，即：高斯分布（函数）、随机过程、以及贝叶斯概率等。明白了这些预备知识之后才能顺利进入高斯过程，了解高斯过程本质及其高斯过程描述方法。人们又将高斯过程与贝叶斯概率有机结合在一起，构造了强大的数学方法（或称模型），为人类提供解决日常生活和工作的问题。特别是在人工智能领域更是意义非凡
转载
2024-01-02 22:23:37
139阅读
1.背景介绍高斯核(Gaussian Kernel)在机器学习和数据挖掘领域具有广泛的应用。它是一种常用的核函数，用于处理高维数据和非线性关系。在本文中，我们将深入探讨高斯核在密度估计和分布分析中的应用，并揭示其在这些领域的优势。1.1 密度估计与分布分析密度估计是一种常用的统计学方法，用于估计数据中的概率分布。密度估计的目标是根据观测数据，得到一个函数f(x)，使得f(x)在某种意义上近似于数据
转载
2024-10-12 17:28:33
140阅读
SVM核函数的作用SVM核函数是用来解决数据线性不可分而提出的，把数据从源空间映射到目标空间（线性可分空间）。SVM中核函数的种类1、线性核优点：方案首选，奥卡姆剃刀定律简单，可以求解较快一个QP问题可解释性强：可以轻易知道哪些feature是重要的限制：只能解决线性可分问题2、多项式核基本原理：依靠升维使得原本线性不可分的数据线性可分； 升维的意义：使得原本线性不可分的数据线性可分；优点：可解决
转载
2023-11-27 06:46:49
393阅读
信号的尺度空间刚提出是就是通过一系列单参数、宽度递增的高斯滤波器将原始信号滤波得到到组低频信号。那么有一个疑问就是，除了高斯滤波之外，其他带有参数t的低通滤波器是否也可以用来生成一个尺度空间呢？但翻看资料得知国外诸多学者都已经用精确的数学形式从可分性、旋转不变性、因果性等特性证明出高斯核就是实现尺度变换的唯一变换核。在图像处理中，需要对核函数进行采样，离散的高斯函数并不满足连续高斯函数的一些优良的
转载
2023-12-23 11:41:11
74阅读
下面使用的数据集分享如下: 3.在复杂数据上应用核函数我们上面的SMO算法核函数其实就是线性可分的，那么对于非线性可分的呢？接下来，我们就要使用一种称为核函数的工具将数据转换成易分类器理解的形式。径向基核函数径向基函数是SVM中常用的一个核函数。径向基函数是一个采用向量作为自变量的函数，能够基于向量距离运算输出一个标量。这个距离可以是从<0,0>向量或者其他向量开始计算的距离。接下来，
转载
2024-08-12 20:22:21
85阅读
读书笔记3.5平滑空间滤波器3.6锐化高通滤波器3.7低通、高通、带阻和带通滤波器3.8组合使用图像增强方法 3.5平滑空间滤波器模糊程度取决于核的大小及系数的值。 高斯核是唯一可分离的圆对称核。 两个高斯函数的乘积和卷积也是高斯函数。 高斯核必须大于盒式滤波器才能产生相同的模糊效果。 低通滤波可以对阴影模式进行估计，用于阴影矫正。三倍于像素细节大小的核不足以模糊，至少四倍以上。 中值滤波器是目
转载
2024-08-20 20:09:05
33阅读
高斯分布及其主要特征： (Gaussian Distribution and its key characteristics:)Gaussian distribution is a continuous probability distribution with symmetrical sides around its center.Its mean, median and mode
转载
2024-10-17 18:04:43
53阅读
一、欠拟合与过拟合1、定义过拟合：一个假设在训练数据上能够获得比其他假设更好的拟合， 但是在测试数据集上却不能很好地拟合数据，此时认为这个假设出现了过拟合的现象。(模型过于复杂)欠拟合：一个假设在训练数据上不能获得更好的拟合，并且在测试数据集上也不能很好地拟合数据，此时认为这个假设出现了欠拟合的现象。(模型过于简单)2、原因及解决办法欠拟合原因以及解决办法原因：学习到数据的特征过少解决办法：
转载
2024-05-29 12:40:02
33阅读
选自Distill，作者：Jochen Görtler、Rebecca Kehlbeck、Oliver Deussen，参与：Yi Bai、张倩、王淑婷。 高斯过程可以让我们结合先验知识，对数据做出预测，最直观的应用领域是回归问题。本文作者用几个互动图生动地讲解了高斯过程的相关知识，可以让读者直观地了解高斯过程的工作原理以及如何使其适配不同类型的数据。引言即使读过一些机器学习相关的书，你也未必听
转载
2024-03-18 15:29:05
226阅读
编者：小便和作者打过几次交道，一直以为是他是已“修成正果”的某某博士，便“毕恭毕敬”地去邀请他写篇牛文。细聊之后才得知小伙子原来是90后，9月份才博士入学。这篇文章对GP进行了深度科普，数学公式是有一些的，但耐心读读，都不是问题的。高斯过程是机器学习领域一个基础的方法，同时又和其他方法有千丝万缕的联系，值得大家研究一下。文中一些细节也欢迎大家和作者一起探讨。另外，推荐下小伙子的刚开的个人博客：h
注：本文介绍的高斯过程及高斯过程回归通俗易懂，网上好像还没有类似的通俗易懂的高斯过程回归的文章。虽然有少量公式，但是完全可以很快消化。最近meta learning很火，比如MAML等都是和神经网络相结合，而高斯过程在实际场景中有广泛的应用，但是高斯过程的计算复杂度很高，特别是需要多个数据点进行初始化，如果能和meta learning结合，减少初始化的数据点，对高斯过程来说是一项非常实用的技术。
转载
2023-12-07 13:25:16
138阅读
