烧灯续昼2002的博客_白板推导系列笔记

详解核方法-正定核-两个定义&必要性证明【白板推导系列笔记】

核函数定义K:X\timesX\mapsto\mathbb{R},\forallx,z\inX则称K(x,z)为核函数正定核定义\begin{gathered}K:X\timesX\mapsto,\forallx,z\inX,有K(x,z)\\如果\exists:\phi:x\mapsto\mathbb{R},\phi\inH\\s.t.K(x,z)=\left<\phi(x),\phi(z)\

核函数

函数定义

统计学习

机器学习

算法

原创精选 2022-10-21 14:26:38 288 阅读 yyds干货盘点

详解核方法-背景介绍【白板推导系列笔记】

核函数

核方法

机器学习

算法

数据挖掘

原创精选 2022-10-20 08:37:44 570 阅读 yyds干货盘点

详解支持向量机-软间隔SVM-模型定义【白板推导系列笔记】

我们的训练数据通常不是理想的线性可分，有时甚至是线性不可分的数据。对于存在噪声的一些数据，我们应该允许一点分类错误，因此我们需要对目标函数进行一些调整：\mathop{\text{min}}\limits_{\omega,b}\frac{1}{2}\omega^{T}\omega+\text{loss}最简单的想法，我们可以让loss为支持向量另一侧的向量以及误分类的向量，即\text{loss}

统计机器学习

SVM

支持向量机

机器学习

算法

原创精选 2022-10-19 08:40:53 228 阅读 yyds干货盘点

详解支持向量机-约束优化问题-弱对偶性证明【白板推导系列笔记】

简单来说，引入拉格朗日乘子是为了强制要求所有的约束条件必须被满足，当x违反约束条件时，L(x,\alpha,\beta)\rightarrow +\infty，当x满足约束条件时，L(x,\alpha,\beta)=f(x)。假设f(x)，c_i(x)，h_j(x)是定义在R^n上的连续可微函数。考虑约束最优化问题（极大化问题可以简单地转换为极小化问题，这里仅讨论极小化问题）：\begin{al

约束条件

最优化

最小值

PCA

降维

原创精选 2022-10-18 09:01:22 295 阅读 yyds干货盘点

详解支持向量机-硬间隔SVM-模型求解-引出对偶问题&引出KKT条件【白板推导系列笔记】

\left\{\begin{aligned}&\mathop{\text{min}}\limits_{\omega,b}\frac{1}{2}\omega^{T}\omega\\&s.t.y_{i}(\omega^{T}x_{i}+b)\geq1\Leftrightarrow1y_{i}(\omega^{T}x_{i}+b)\leq0,\underbrace{i=1,2,\cdots,N}_{N个

约束条件

优化问题

SVM

机器学习

算法

原创精选 2022-10-17 08:19:07 243 阅读 yyds干货盘点

详解支持向量机-硬间隔SVM-模型定义【白板推导系列笔记】

支撑向量机（SVM）算法在分类问题中有着重要地位，其主要思想是最大化两类之间的间隔。按照数据集的特点：1. 线性可分问题，如之前的感知机算法处理的问题2. 线性可分，只有一点点错误点，如感知机算法发展出来的Pocket算法处理的问题3. 非线性问题，完全不可分，如在感知机问题发展出来的多层感知机和深度学习作者：tsyw的个人空间_哔哩哔哩_bilibili(://space.bilibi

机器学习

算法

数据分析

人工智能

SVM

原创精选 2022-10-16 08:36:08 252 阅读 yyds干货盘点

详解降维-SVD角度看PCA和PCoA & 主成分分析-概率角度（Probabilistic PCA）【白板推导系列笔记】

前一节说明了重构特征空间找什么方向的向量，本节讲的是如何重构特征空间，即通过特征分解（SVD）对于中心化的数据矩阵HX进行SVDHX=U\SigmaV^{T}\quad\left\{\begin{aligned}&U^{T}U=\mathbb{I}\\&V^{T}V=VV^{T}=\mathbb{I}\\&\Sigma为对角阵\end{aligned}\right.那么我们对协方差矩阵S就有\b

数据

概率分布

机器学习

算法

python

原创精选 2022-10-15 10:53:51 319 阅读 yyds干货盘点

详解降维-PCA-最大投影方差&最小重构代价【白板推导系列笔记】

作者：shuhuai008(://space.bilibili.com/97068901)(://message.bilibili.com/whisper/mid97068901)链接：【机器学习】【白板推导系列】【合集1～33】_哔哩哔哩_bilibili(://.bilibili.com/video/BV1aE411o7qd/?spm_id_from=444

方差

机器学习

PCA

重构

降维

原创精选 2022-10-14 08:35:21 611 阅读 yyds干货盘点

详解降维-背景【白板推导系列笔记】

解决过拟合问题有三种思路：加数据、正则化、降维，降维的思路来自于维度灾难已知一个正方形边长为2R，则面积为2^{2}R^{2}，对应最大内接圆的面积为\pi\cdotR^{2}；一个正方体边长为2R，则体积为2^{3}R^{3}，对应最大内接球的体积为\begin{aligned}\frac{4}{3}\pi\cdotR^{3}\end{aligned}。因此，对于更高维度D，对应超正方体，我们可

数据

正则化

降维

机器学习

算法

原创精选 2022-10-14 08:34:27 329 阅读 yyds干货盘点

详解降维-样本均值&样本方差矩阵【白板推导系列笔记】

\begin{gathered}X=\begin{pmatrix}x_{1}&x_{2}&\cdots &x_{N}\end{pmatrix}^{T}_{N\timesp}=\begin{pmatrix}x_{1}^{T}\\x_{2}^{T}\\\vdots \\x_{N}^{T}\end{pmatrix}=\begin{pmatrix}x_{11}&x_{12}&\cdots& x_{1p}\

数据集

样本均值

方差

降维

PCA

原创精选 2022-10-13 07:51:05 558 阅读 yyds干货盘点

详解线性分类-朴素贝叶斯分类器（Naive Bayes Classifer）【白板推导系列笔记】

朴素贝叶斯是对数据属性之间的关系进行了假设，即各个属性维度之间独立。 NB中我们假设X是离散的，服从多项分布（包括伯努利）。GDA的X可以用多维高斯分布表示，但是在NB中我们却不能直接使用多项分布。我们用垃圾邮件分类器来阐述NB的思想。在这个分类器中我们可以用单词向量作为输入特征，具体的，我们的单词书中如果一共有50000个词，那么一封邮件的x向量可以是x=\left\begin{matrix}1

朴素贝叶斯

数据分析

机器学习

算法

python

原创推荐 2022-10-12 08:11:29 371 阅读 yyds干货盘点

详解线性分类-高斯判别分析（Gaussian Discriminant Analysis）-模型求解（求期望）&模型求解（求协方差）【白板推导系列笔记】

L(\mu_{1},\mu_{2},\Sigma,\phi)=\sum\limits_{i=1}^{N}\underbrace{\logN(\mu_{1},\Sigma)^{y_{i}}}_{(1)}+\underbrace{\logN(\mu_{2},\Sigma)^{1y_{i}}}_{(2)}+\underbrace{\log\phi^{y_{i}}(1\phi)^{1y_{i}}}_{(3

方差

机器学习

线性分类

python

算法

原创精选 2022-10-11 09:11:52 584 阅读 yyds干货盘点

详解线性分类-高斯判别分析（Gaussian Discriminant Analysis）-模型定义【白板推导系列笔记】

\begin{gathered}\left\{(x_{i},y_{i})\right\}_{i=1}^{N},x_{i}\in\mathbb{R}^{p},y_{i}\in\left\{0,1\right\}\end{gathered}逻辑回归是直接对p(yx)建模，而高斯判别分析作为概率生成模型，是通过引入类型的先验，通过贝叶斯公式，得到联合分布p(x,y)=p(xy)p(y)，再对联合分布的对

判别分析

贝叶斯公式

高斯分布

概率论

原创精选 2022-10-10 08:16:16 342 阅读 yyds干货盘点

详解线性分类-逻辑回归（Logistic Regression）【白板推导系列笔记】

一点最大后验估计的理解，不知道该写哪，就放这里了最大后验估计是根据经验数据获得对难以观察的量的点估计。与最大似然估计类似，但是最大的不同是，最大后验估计的融入了要估计量的先验分布在其中。故最大后验估计可以看做规则化的最大似然估计。MAP与MLE最大区别是MAP中加入了模型参数本身的概率分布，或者说。MLE中认为模型参数本身的概率的是均匀的，即该概率为一个固定值。举例来说：假设有五个袋子，各袋中都有

最大似然估计

似然函数

取值

逻辑回归

线性分类

原创精选 2022-10-09 16:23:34 595 阅读 yyds干货盘点

详解线性分类-线性判别分析（Fisher）-模型定义【白板推导系列笔记】

线性判别分析的思想是，找的一个方向\omega，将样本向这个方向做投影，投影后的数据尽可能的满足1.相同类内部的样本的投影尽可能接近2.不同类之间的距离尽可能较大总结为类内小，类间大\begin{gathered}X=\begin{pmatrix}x_{1}&x_{2}&\cdots&x_{N}\end{pmatrix}^{T}=\begin{pmatrix}x_{1}^{T}\\x_{2}^{T

方差

数据

线性判别分析

线性分类

高斯分布

原创精选 2022-10-08 10:23:50 573 阅读 yyds干货盘点

详解线性分类-背景&感知机【白板推导系列笔记】

本文已参与「新人创作礼」活动，一起开启掘金创作之路。传统的机器学习方法或多或少都有线性回归模型的影子：1.线性模型往往不能很好地拟合数据，因此有三种方案克服这一劣势： a.对特征的维数进行变换，例如多项式回归模型就是在线性特征的基础上加入高次项。 b.在线性方程后面加入一个非线性变换，即引入一个非线性的激活函数，典型的有线性分类模型如感知机。 c.对于一致的线性系数，我们进行多次变换，

线性回归

感知机

数据

激活函数

白板推导

原创精选 2022-10-07 08:18:38 459 阅读 yyds干货盘点

详解线性回归-正则化-岭回归-频率角度【白板推导系列笔记】

在之前已知\begin{gathered}Loss\spaceFunction:L(\omega)=\sum\limits_{i=1}^{N}\omega^{T}x_{i}y_{i}^{2}\\解得\hat{\omega}=(X^{T}X)^{1}X^{T}Y\end{gathered} 在实际应用时，如果样本容量不远远大于样本的特征维度，很可能造成过拟合，对这种情况，我们有下面三个解决方式：1.

正则化

最小二乘

线性回归

岭回归

概率论

原创精选 2022-10-06 18:45:56 293 阅读 yyds干货盘点

详解线性回归-最小二乘法及其几何意义&最小二乘法-概率视角-高斯噪声-MLE【白板推导系列笔记】

\begin{gathered}D=\left\{(x_{1},y_{1}),(x_{2},y_{2}),\cdots,(x_{N},y_{N})\right\}\\x_{i}\in\mathbb{R}^{p},y_{i}\in\mathbb{R},i=1,2,\cdots,N\\X=\begin{pmatrix}x_{1}&x_{2}&\cdots &x_{N}\end{pmatrix}^{T}

最小二乘法

似然函数

最大似然估计

线性回归

机器学习

原创精选 2022-10-05 09:33:02 668 阅读 yyds干货盘点

详解数学基础-概率-高斯分布-求联合概率分布【白板推导系列笔记】

\begin{gathered}X\simN(\mu,\Sigma)=\frac{1}{(2\pi)^{\frac{p}{2}}\Sigma^{\frac{1}{2}}}\text{exp}\left(\frac{1}{2}(x\mu)^{T}\Sigma^{1}(x\mu)\right)\\x\in\mathbb{R}^{p},r.v.\\\end{gathered}已知\begin{align

方差

概率分布

图形化

正态分布

条件概率

原创精选 2022-10-04 08:04:35 914 阅读 yyds干货盘点

详解数学基础-概率-高斯分布-求边缘概率以及条件概率【白板推导系列笔记】

\begin{gathered}X\simN(\mu,\Sigma)=\frac{1}{(2\pi)^{\frac{p}{2}}\Sigma^{\frac{1}{2}}}\text{exp}\left(\frac{1}{2}(x\mu)^{T}\Sigma^{1}(x\mu)\right)\\x\in\mathbb{R}^{p},r.v.\\\end{gathered}已知\begin{gathe

高斯分布

正态分布

概率论

线性代数

最大似然估计

原创推荐 2022-10-03 20:17:14 1725 阅读 yyds干货盘点

详解数学基础-概率-高斯分布-极大似然估计&极大似然估计-有偏VS无偏【白板推导系列笔记】

关于最大似然估计法，我们有以下直观想法：现在已经取到样本值x_{1},x_{2},\cdots,x_{n}了，这表明取到这一样本值的概率L(\theta)比较大。我们当然不会考虑那些不能使样本x_{1},x_{2},\cdots,x_{n}出现的\theta\in\Theta作为\theta的估计，再者，如果已知当\theta=\theta_{0}\in\Theta时使L(\theta)取很大值，

最大似然估计

数理统计

无偏估计

高斯分布

概率论

原创精选 2022-10-02 23:33:47 580 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx63088f6683f8f的博客

详解核方法-正定核-两个定义&必要性证明【白板推导系列笔记】

详解核方法-背景介绍【白板推导系列笔记】

详解支持向量机-软间隔SVM-模型定义【白板推导系列笔记】

详解支持向量机-约束优化问题-弱对偶性证明【白板推导系列笔记】

详解支持向量机-硬间隔SVM-模型求解-引出对偶问题&引出KKT条件【白板推导系列笔记】

详解支持向量机-硬间隔SVM-模型定义【白板推导系列笔记】

详解降维-SVD角度看PCA和PCoA & 主成分分析-概率角度（Probabilistic PCA）【白板推导系列笔记】

详解降维-PCA-最大投影方差&最小重构代价【白板推导系列笔记】

详解降维-背景【白板推导系列笔记】

详解降维-样本均值&样本方差矩阵【白板推导系列笔记】

详解线性分类-朴素贝叶斯分类器（Naive Bayes Classifer）【白板推导系列笔记】

详解线性分类-高斯判别分析（Gaussian Discriminant Analysis）-模型求解（求期望）&模型求解（求协方差）【白板推导系列笔记】

详解线性分类-高斯判别分析（Gaussian Discriminant Analysis）-模型定义【白板推导系列笔记】

详解线性分类-逻辑回归（Logistic Regression）【白板推导系列笔记】

详解线性分类-线性判别分析（Fisher）-模型定义【白板推导系列笔记】

详解线性分类-背景&感知机【白板推导系列笔记】

详解线性回归-正则化-岭回归-频率角度【白板推导系列笔记】

详解线性回归-最小二乘法及其几何意义&最小二乘法-概率视角-高斯噪声-MLE【白板推导系列笔记】

详解数学基础-概率-高斯分布-求联合概率分布【白板推导系列笔记】

详解数学基础-概率-高斯分布-求边缘概率以及条件概率【白板推导系列笔记】

详解数学基础-概率-高斯分布-极大似然估计&极大似然估计-有偏VS无偏【白板推导系列笔记】