目录训练、验证、测试集偏差、方差机器学习基础正则化为什么正则化有利于预防过拟合dropout正则化理解dropout其它正则化方法归一化输入梯度消失/梯度爆炸神经网络的权重初始化梯度的数值逼近梯度检验梯度检验应用的注意事项【此为本人学习吴恩达的深度学习课程的笔记记录，有错误请指出！】训练、验证、测试集
应用深度学习是一个典型的迭代过程，需要多次循环往复，才能为应用程序找到一个称心的神经网络
Adaboost数据权重与弱分类器
刚刚已经介绍了单层决策树的原理，这里有一个问题，如果训练数据保持不变，那么单层决策树找到的最佳决策点每一次必然都是一样的，为什么呢？因为单层决策树是把所有可能的决策点都找了一遍然后选择了最好的，如果训练数据不变，那么每次找到的最好的点当然都是同一个点了。
所以，这里Adaboost数据权重就派上用场了，所谓“数据的权重主要用于弱分类器寻找其分类误差最小的点”，
转载
2024-04-12 05:09:50
133阅读
从二维数据中挖掘出新的特征，必须进行分解，从分解的矩阵中得出结论
A=[ word1,word2,word3,...,wordN
docu1:
docu2:
...
docuN:
一、原始ORB算法 1.原始FAST角点检测 2、原始BRIEF特征点描述子 3、O-FAST 角点检测 ORB 的特征点检测部分采用的是 FAST 算子，并在针对其不具备方向性这一缺点进行改进。FAST 算子以其角点提取准确、高效、快速性能，在并行追
转载
2024-03-28 07:11:22
125阅读
逻辑回归所要学习的函数模型为y(x)，由x->y，x为样本，y为目标类别，即总体思想是任意给出一个样本输入，模型均能将其正确分类。实际运用中比如有邮箱邮件分类，对于任意一封邮件，经过模型后可将其判别为是否是垃圾邮件。假如我们知道某类数据的条件概率分布函数P(y|x),则不管输入x是什么值，均能计算出输出y为特定值的概率，根据概率的大小，也就可以将其正确分类。因此我们需要做的就是找到一个尽可能
转载
2024-08-11 15:45:41
68阅读
最近在学习分类算法，顺便整理了各种分类算法的优缺点。1决策树（Decision Trees）的优缺点决策树的优点：一、 决策树易于理解和解释.人们在通过解释后都有能力去理解决策树所表达的意义。二、 对
转载
2024-07-19 15:50:30
37阅读
我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选，比如我们有200个候选自变量，通常情况下，不会直接把200个变量直接放到模型中去进行拟合训练，而是会用一些方法，从这200个自变量中挑选一些出来，放进模型，形成入模变量列表。 挑选入模变量过程是个比较复杂的过程，需要考
转载
2024-07-31 10:54:28
600阅读
K近邻算法-KNN何谓K近邻算法，即K-Nearest Neighbor algorithm，简称KNN算法，单从名字来猜想，可以简单粗暴的认为是：K个最近的邻居，当K=1时，算法便成了最近邻算法，即寻找最近的那个邻居。为何要找邻居？打个比方来说，假设你来到一个陌生的村庄，现在你要找到与你有着相似特征的人群融入他们，所谓入伙。用官方的话来说，所谓K近邻算法，即是给定一个训练数据集，对新的输入实例，
relief算法Relief算法最早由Kira提出，最初局限于两类数据的分类问题。Relief算法是一种特征权重算法(Feature weighting algorithms)，根据各个特征和类别的相关性赋予特征不同的权重，权重小于某个阈值的特征将被移除。Relief算法中特征和类别的相关性是基于特征对近距离样本的区分能力。算法从训练集D中随机选择一个样本R，然后从和R同类的样本中寻找最近邻样本H
转载
2024-03-18 09:23:39
124阅读
# 理解与实现 Python 特征权重
在机器学习中，特征权重是衡量每个特征对模型预测贡献的重要指标。理解特征权重不仅可以帮助你优化模型，还可以提高模型的可解释性。本文将指导刚入行的小白如何在Python中实现特征权重的计算和可视化。
## 整体流程概览
下面是实现特征权重的大致步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 导入所需的库 |
| 2 | 准备数
原创
2024-09-02 06:32:19
247阅读
在派生类中重新定义基类中的虚函数，是函数重载的另一种形式。 但虚函数与一般重载函数有区别，具体区别在于： (1) 重载函数的调用是以所传递参数序列的差别作为调用不同函数的依据；而虚函数是根据对象的不同去调用不同类的虚函数。 (2) 重载函数在编译时表现出多态性，是静态联编；虚函数则在运行时表现出多态性，是动态联编。**(3) 构造函数可以重载，析构函数不能重载；正好相反，构造函数不能定义为虚函数，
relief算法Relief算法最早由Kira提出，最初局限于两类数据的分类问题。Relief算法是一种特征权重算法(Feature weighting algorithms)，根据各个特征和类别的相关性赋予特征不同的权重，权重小于某个阈值的特征将被移除。Relief算法中特征和类别的相关性是基于特征对近距离样本的区分能力。算法从训练集D中随机选择一个样本R，然后从和R同类的样本中寻找最近邻样本H
转载
2024-04-20 22:22:06
165阅读
特征值分解和奇异值分解（SVD）在主成分分析（PCA）和机器学习领域都有广泛的应用。PCA的实现由两种方法，一种是特征值分解，另一种是奇异值分解，特征值分解和奇异值分解的目的是一样的，都是提取出一个矩阵最重要的特性。特征值线性代数中对特征值和特征向量的定义：设A是n阶方阵，如果存在 λ 和n维非零向量x，使 Ax=λxAx=λx，则 λ 称为方阵A的一个特征值，x为方阵A对应于或属于特征值 λ 的
转载
2024-10-17 21:57:24
54阅读
前言移植了各种caffe，是时候进行下一步操作了，先拿可视化下手吧。大部分内容可能跟网上的方法不一样环境：微软caffe+wind7+matlab2013a参考：http://caffe.berkeleyvision.org/tutorial/interfaces.html http://nbviewer
转载
2024-05-08 09:54:18
131阅读
一、函数重载的概念1、同名函数，参数不同（包括类型、顺序不同）2、全局函数和类的成员函数同名不算重载，因为函数的作用域不同（全局函数被调时应加“：：”标志） 二、成员函数的重载、覆盖与隐藏1、成员函数被重载的特征： a、相同的范围（在同一个类中） b、函数名字相同 c、参数不同 d、virtual关键字可有可无2、覆盖是指派生类函数覆盖基类函数，特征是： a、不同的范围（分别位
转载
2024-04-06 08:43:59
81阅读
特征值和特征向量的概念 由特征向量的性质我们知道，它满足加法封闭性和数乘封闭性。于是构成了n维空间的子空间。 求特征值就有可能遇到重根的情况，我们下面具体讨论一下。 这里的代数重数实际上就是指的特征值有几重根。而几何重数是指该特征值所对应的特征向量所构成的空间的维数。几何重数永远小于等于代数重数。如果代数重
转载
2024-05-10 11:56:21
223阅读
目录0 原理 1 OpenCV中的BRIEF 2 OpenCV中的ORB算法0 原理对于一个 OpenCV 的狂热爱好者来说 ORB 最重要的一点就是：它来自“OpenCV_Labs''。这个算法是在 2011 年提出的。在计算开支，匹配效率以 及更主要的是专利问题方面 ORB 算法是是 SIFT 和 SURF 算法的一个
目录1. 什么是Xgboost2. Xgboost的优点2.1 正则化2.2 并行处理2.3 灵活性2.4 缺失值处理2.5 剪枝2.6 内置交叉验证3. Xgboost模型详解3.1 Xgboost能加载的各种数据格式解析3.2 Xgboost的模型参数3.21 通用参数（General Parameters）3.22 tree booster参数3.23 Linear Booster参数3.
首先让我们来考虑下面这个变换我们关注这个变换对一个特定向量的作用可以看出，这个变换使向量脱离了它本身张成的空间（一条直线），除了这个向量以外，这个二维向量空间中的绝大部分向量在变换后也会脱离它原来张成的空间。不过对于这个变换来说，仍然有一些特殊的向量会留在向量本身张成的空间中，这个变换只是对这些特殊的向量进行了缩放而已。这个 看到这里，你们应该能猜到了，这些特殊的向量就是这个变换的特征向量，每一个
转载
2024-10-09 14:37:37
65阅读
循环神经网路基本的循环神经网络下图是一个简单的循环神经网络，它由输入层、隐藏层和一个输出层组成。 其中，x 是输入层的值，U是输入层到隐藏层的权重，s是隐藏层的输出的值，V是隐藏层到输出层的权重，o是输出，环神经网络的隐藏层的值s不仅仅取决于当前这次的输入x，还取决于上一次隐藏层的值s。权重矩阵 W就是隐藏层上一次的值作为这一次的输入的权重。如果将上图展开，就如下图所示： 现在看上去就比较清楚
