1、子集搜索与评价特征选择（feature selection）：从给定的特征集合中选择出相关特征子集的过程。进行特征选择的原因主要分为：解决“维数灾难”问题。（与降维有异曲同工之妙）降低学习任务的难度（将纷繁复杂的因素抽丝剥茧，留下关键因素）无关特征是指与当前学习任务无关的特征。
冗余特征是指该特征的信息能从其他特征中推演出来。从初始的特征集合中选取一个包含了所有重要信息的特征子集，在实现中，我
以下是博主曾经接触过或者正在接触的算法 会不定时补充，尽量保证每一种算法都加上自己的大概想法。一、本质给定一个对象X，将其划分到预定义好的某一个类别Yi中的算法二、分类算法用来解决什么问题人群分类，新闻分类，query分类，商品分类，网页分类，垃圾邮件过滤，网页排序三、有哪些分类算法（不保证完全，会不断补充）1. Naive Bayesian Mode 朴素贝叶斯模型最简单的监督学习分类
Boosting 是一族可将弱学习器提升为强学习器的算法。关于 Boosting 的两个核心问题：1.在每一轮如何改变训练数据的权值或概率分布？通过提高那些在前一轮被弱分类器分错样例的权值，减小前一轮分对样本的权值，而误分的样本在后续受到更多的关注.
2、通过什么方式来组合弱分类器？通过加法模型将弱分类器进行线性组合，比如 AdaBoost 通过加权多数表决的方式，即增大错误率小的分类器的权值，同
转载
2024-05-29 13:18:19
161阅读
1. 逻辑回归逻辑回归是一种经典的二元分类模型，适用于数据线性可分的场景。它的核心思想是将样本通过一个线性函数映射到一个实数范围内，并通过一个sigmoid函数将其映射到0-1之间，从而得到样本属于类别1的概率。逻辑回归模型参数可以使用梯度下降等方法进行优化。优点: 参数估计快速简便，例行应用。预测结果可解释性较高。缺点: 只适用于线性可分情况。对于非线性可分问题，过拟合问题比较严重。2. 决策树
转载
2024-02-26 07:00:21
0阅读
最近在学习分类算法，顺便整理了各种分类算法的优缺点。1决策树（Decision Trees）的优缺点决策树的优点：一、 决策树易于理解和解释.人们在通过解释后都有能力去理解决策树所表达的意义。二、 对
转载
2024-07-19 15:50:30
37阅读
Adaboost数据权重与弱分类器
刚刚已经介绍了单层决策树的原理，这里有一个问题，如果训练数据保持不变，那么单层决策树找到的最佳决策点每一次必然都是一样的，为什么呢？因为单层决策树是把所有可能的决策点都找了一遍然后选择了最好的，如果训练数据不变，那么每次找到的最好的点当然都是同一个点了。
所以，这里Adaboost数据权重就派上用场了，所谓“数据的权重主要用于弱分类器寻找其分类误差最小的点”，
转载
2024-04-12 05:09:50
133阅读
1. 基本概念 Haar分类器 = Haar-like特征 + 积分图(Integral Image)方法 + AdaBoost + 级联 Haar分类器算法的要点如下： 1）使用Haar-like特征做检测 2）使用积分图(Integral Image)
转载
2024-06-29 07:25:59
32阅读
1、我们将要实现一种更强大的方法来解决图像分类问题，该方法可以自然地延伸到神经网络和卷积神经网络上。这种方法主要有两部分组成：一个是评分函数（score function），它是原始图像数据到类别分值的映射。另一个是损失函数（loss function），它是用来量化预测分类标签的得分与真实标签之间一致性的。该方法可转化为一个最优化问题，在最优化过程中，将通过更新评分函数的参数来最小化损失函数值。
定义：Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。算法原理： （1）初始化训练数据（每个样本）的权值分布：如果有N个样本，则每一个训练的样本点最开始时都被赋予相同的权重：1/N。 （2）训练弱分类器。具体训练过程中，如果某个样本已经被准确地分类，那么在构造下一个训练集中，它的权重就被降低
转载
2024-05-12 18:21:07
78阅读
1.总体框架 R-CNN目标检测模型总体上分为三大模块：1.区域提议，2.CNN特征提取，3.SVM判别。 （1）区域提议：也可以理解为候选框提取。通过某种方法从原始输入图像中提取出与类别无关的大约2k个候选框。 （2）CNN特征提取：经过第1步提取到2k个候选框之后，分别利用CNN对这些候选框进行特征提取。 （3）SVM判别，利用第2步提取到
转载
2024-05-19 08:35:54
217阅读
我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选，比如我们有200个候选自变量，通常情况下，不会直接把200个变量直接放到模型中去进行拟合训练，而是会用一些方法，从这200个自变量中挑选一些出来，放进模型，形成入模变量列表。 挑选入模变量过程是个比较复杂的过程，需要考
转载
2024-07-31 10:54:28
600阅读
一、分类学习概述1、分类方法的定义：分类分析的是根据已知类别的训练集数据，建立分类模型，并利用该分类模型预测未知类别数据对象所属的类别。2、分类方法的应用：模式识别（Pattern Recognition），就是通过计算机用数学技术方法来研究模式的自动处理和判读。模式识别的目标往往是识别，即分析出待测试的样本所属的模式类别预测，从利用历史数据记录中自动推导出对给定数据的推广描述，从而能对未来数据进
转载
2024-03-03 07:55:10
155阅读
relief算法Relief算法最早由Kira提出，最初局限于两类数据的分类问题。Relief算法是一种特征权重算法(Feature weighting algorithms)，根据各个特征和类别的相关性赋予特征不同的权重，权重小于某个阈值的特征将被移除。Relief算法中特征和类别的相关性是基于特征对近距离样本的区分能力。算法从训练集D中随机选择一个样本R，然后从和R同类的样本中寻找最近邻样本H
转载
2024-03-18 09:23:39
124阅读
公元2020年5月7日，距离算法考试还有2天。一、知识归纳1.回溯法的定义回溯法也称为试探法，首先暂时放弃关于问题规模大小的限制，并将问题的候选解按某种顺序逐一枚举和检验。 【回溯】当发现当前候选解不可能是解时，就选择下一个候选解； 【向前试探】倘若当前候选解除了还不满足问题规模要求外，满足所有其他要求时，继续扩大当前候选解的规模，并继续试探。 【找到解】如果当前候选解满足包括问题规
转载
2024-08-11 15:35:22
61阅读
特征值分解和奇异值分解（SVD）在主成分分析（PCA）和机器学习领域都有广泛的应用。PCA的实现由两种方法，一种是特征值分解，另一种是奇异值分解，特征值分解和奇异值分解的目的是一样的，都是提取出一个矩阵最重要的特性。特征值线性代数中对特征值和特征向量的定义：设A是n阶方阵，如果存在 λ 和n维非零向量x，使 Ax=λxAx=λx，则 λ 称为方阵A的一个特征值，x为方阵A对应于或属于特征值 λ 的
转载
2024-10-17 21:57:24
54阅读
在派生类中重新定义基类中的虚函数，是函数重载的另一种形式。 但虚函数与一般重载函数有区别，具体区别在于： (1) 重载函数的调用是以所传递参数序列的差别作为调用不同函数的依据；而虚函数是根据对象的不同去调用不同类的虚函数。 (2) 重载函数在编译时表现出多态性，是静态联编；虚函数则在运行时表现出多态性，是动态联编。**(3) 构造函数可以重载，析构函数不能重载；正好相反，构造函数不能定义为虚函数，
# 理解与实现 Python 特征权重
在机器学习中，特征权重是衡量每个特征对模型预测贡献的重要指标。理解特征权重不仅可以帮助你优化模型，还可以提高模型的可解释性。本文将指导刚入行的小白如何在Python中实现特征权重的计算和可视化。
## 整体流程概览
下面是实现特征权重的大致步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 导入所需的库 |
| 2 | 准备数
原创
2024-09-02 06:32:19
247阅读
目录训练、验证、测试集偏差、方差机器学习基础正则化为什么正则化有利于预防过拟合dropout正则化理解dropout其它正则化方法归一化输入梯度消失/梯度爆炸神经网络的权重初始化梯度的数值逼近梯度检验梯度检验应用的注意事项【此为本人学习吴恩达的深度学习课程的笔记记录，有错误请指出！】训练、验证、测试集
应用深度学习是一个典型的迭代过程，需要多次循环往复，才能为应用程序找到一个称心的神经网络
relief算法Relief算法最早由Kira提出，最初局限于两类数据的分类问题。Relief算法是一种特征权重算法(Feature weighting algorithms)，根据各个特征和类别的相关性赋予特征不同的权重，权重小于某个阈值的特征将被移除。Relief算法中特征和类别的相关性是基于特征对近距离样本的区分能力。算法从训练集D中随机选择一个样本R，然后从和R同类的样本中寻找最近邻样本H
转载
2024-04-20 22:22:06
165阅读
前言移植了各种caffe，是时候进行下一步操作了，先拿可视化下手吧。大部分内容可能跟网上的方法不一样环境：微软caffe+wind7+matlab2013a参考：http://caffe.berkeleyvision.org/tutorial/interfaces.html http://nbviewer
转载
2024-05-08 09:54:18
131阅读
