https://www.bilibili.com/video/BV1aE411o7qd文章目录SVM线性可分SVM线性不可分支持向量机约束优化问题SVM线性可分SVM借助乘子法将带约束变成无约束：线性不可分支持向量机w∗w^{*}w∗是关于数据的线性组合只有支持向量的λi\lambda_iλi才有值，其他的为0(上图漏了个Σ\SigmaΣ，但问题不大)可以看成损失函数为hinge，penalty为L2约束优化问题写成拉格朗日函数后，自动过滤了不好的x（不在约束范围内的x）
原创
2021-08-04 10:53:38
357阅读
目录一、二分查找实现 upper_bound、lower_bound二、排序——快排三、排序——归并四、排序——堆排五、排序——冒泡六、最大子数组和七、最大子数组积七、TopK问题 一、二分查找实现 upper_bound、lower_bound记住两个函数的含义upper_bound找到大于目标值的第一个位置，lower_bound找到大于等于目标值的第一个位置int lo
电子白板是汇集了尖端电子技术、软件技术等多种高科技手段研发的高新技术产品，它通过应用电磁感应原理，结合计算机和投影机，可以实现无纸化办公及教学。电子白板由普通白板发展而来，最早出现的电子白板为复印型电子白板，随着技术的发展及市场的需要，出现了交互式的电子白板。目前市场上这两种电子白板并存，以下分别介绍这两类电子白板。 复印式电子白板 所谓复印式电子白板即通过用户的简单操作便可将白板上书写的内容通过
把概率引入机器学习中是一件很自然的事情。 注解： 1.X是数据:N个数据，每个数据的纬度是p维。 2.概率模型的解释和例子： 下图的来源：What is a statistical model? - YouTube 注解： 1.频率派认为：参数θ是未知的常量，数据是随机变量。 2.提倡用极大似然估计 ...
转载
2021-10-19 11:20:00
150阅读
2评论
【机器学习】【白板推导系列】【合集 1～23】_哔哩哔哩_bilibili 知识点： 1.高斯分布。 2.用极大似然估计估计高斯分布中的参数均值μ，和方差Σ。 ...
转载
2021-10-19 13:10:00
89阅读
2评论
【机器学习】【白板推导系列】【合集 1～23】_哔哩哔哩_bilibili E:EM算法。 回归分析，分类，神经网络，核方法，稀疏？，概率图模型，混合模型、近似算法、3纬采样，连续性随机变量，顺序数据，组合模型。 大的总结： ...
转载
2021-10-19 09:13:00
415阅读
2评论
注解： 1.统计学习指的是：统计机器学习。 2.深度神经网络中的深度值得是神经网络的层数超过3层。 3.PGM:概率图模型。 4.deep learning的概念更倾向于deep neural network. ...
转载
2021-10-19 13:28:00
64阅读
2评论
把概率引入机器学习中是一件很自然的事情。 注解： 1.X是数据:N个数据，每个数据的纬度是p维。 2.概率模型的解释和例子： 下图的来源：What is a statistical model? - YouTube 注解： 1.频率派认为：参数θ是未知的常量，数据是随机变量。 2.提倡用极大似然估计 ...
转载
2021-10-19 11:20:00
68阅读
2评论
解决过拟合问题有三种思路：加数据、正则化、降维，降维的思路来自于维度灾难已知一个正方形边长为2R，则面积为2^{2}R^{2}，对应最大内接圆的面积为\pi\cdotR^{2}；一个正方体边长为2R，则体积为2^{3}R^{3}，对应最大内接球的体积为\begin{aligned}\frac{4}{3}\pi\cdotR^{3}\end{aligned}。因此，对于更高维度D，对应超正方体，我们可
原创
精选
2022-10-14 08:34:27
329阅读
本博客为（系列六）的笔记，对应的视频是：【(系列六) 支持向量机1
原创
2023-02-03 09:19:41
172阅读
核方法相关的概念有三个KernelMethod（从思想角度）、KernelTrick（从计算角度）、KernelFunction核方法可以用于非线性带来的高维转换（从模型角度），对偶表示带来内积（从优化角度） 有时分类数据是完全不可分的，例如异或问题，即数据集为\left\{((0,0),0),((1,1),0),((1,0),1),((0,1),1)\right\}显然异或问题中的数据不是线性可
原创
精选
2022-10-20 08:37:44
570阅读
本博客为（系列十）的笔记，对应的视频是：【(系列十) EM算法1-算法收敛性证明】、
原创
2023-02-06 13:09:58
164阅读
点赞
EM背景介绍 1.概率模型有事既含有观测变量，又含有隐变量。比如HMM中的隐状态。 如果概率模型的变量是观测变量，那么给定训练数据，可以直接用最大似然估计或者最大后验估计或者贝叶斯估计来求得参数模拟数据的分布，当然也可以用非参估计（比较复杂）。但是，当模型含有隐变量，就不能简单的用这些估计方法。EM算法就是含有隐变量的概率模型参数的极大似然估计方法。EM过程 1.EM算法是一种迭代算法。EM算
本博客为（系列七）的笔记，对应的视频是：【(系列七) 核方法1义】、【(系列七) 核方法3-正定核-必要性证明】。
原创
2023-02-03 09:19:16
238阅读
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 ：datayx在B站上传了一系列关于机器学习的视频，每个部分均是一些比较详细、基础的入门推导，目的是帮...
转载
2022-04-25 20:30:15
111阅读
文章目录0 笔记说明1 背景介绍1.1 频率派1.2 贝叶斯派2 公式推导3 符号修正4 SGVI0 笔记说明。注意：本笔记主要是为了方便自己日后复习学习，而且确实是本人亲手一个字一个公式手打，如果遇到复杂公式，由于未学习LaTeX，我会上传手写图片代替（手机相机可能会拍的不太清楚，但是我会尽可能使内容完整可见），因此我将博客标记为【原创】，
原创
2023-02-06 13:14:18
177阅读
本博客为（系列十一）的笔记，对应的视频是：【(系列十一) 高斯混合模型1-模型介
原创
2023-02-06 13:10:10
213阅读
点赞
本文已参与「新人创作礼」活动，一起开启掘金创作之路。传统的机器学习方法或多或少都有线性回归模型的影子：1.线性模型往往不能很好地拟合数据，因此有三种方案克服这一劣势： a.对特征的维数进行变换，例如多项式回归模型就是在线性特征的基础上加入高次项。 b.在线性方程后面加入一个非线性变换，即引入一个非线性的激活函数，典型的有线性分类模型如感知机。 c.对于一致的线性系数，我们进行多次变换，
原创
精选
2022-10-07 08:18:38
459阅读
一点最大后验估计的理解，不知道该写哪，就放这里了最大后验估计是根据经验数据获得对难以观察的量的点估计。与最大似然估计类似，但是最大的不同是，最大后验估计的融入了要估计量的先验分布在其中。故最大后验估计可以看做规则化的最大似然估计。MAP与MLE最大区别是MAP中加入了模型参数本身的概率分布，或者说。MLE中认为模型参数本身的概率的是均匀的，即该概率为一个固定值。举例来说：假设有五个袋子，各袋中都有
原创
精选
2022-10-09 16:23:34
595阅读
本博客为（系列二）的笔记，对应的视频是：【(系列二) 数学基础-概率-
原创
2023-02-06 13:11:24
586阅读
