1、原理： svm是一种二类分类模型，它的基本模型是在特征空间中寻找间隔最大化的分离超平面的线性分类器。 当训练样本线性可分时，可通过硬间隔最大化，学习一个分类器，即线性可分支持向量机。 当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化学习一个线性分类器，即线性支持向量机。 以上目标函数是二次的，约束条件是线性的，这是一个凸二次规划问题，可利用对偶问题求解。 当训练数据线性不可分时，通过使
特征值分解和奇异值分解（SVD）在主成分分析（PCA）和机器学习领域都有广泛的应用。PCA的实现由两种方法，一种是特征值分解，另一种是奇异值分解，特征值分解和奇异值分解的目的是一样的，都是提取出一个矩阵最重要的特性。特征值线性代数中对特征值和特征向量的定义：设A是n阶方阵，如果存在 λ 和n维非零向量x，使 Ax=λxAx=λx，则 λ 称为方阵A的一个特征值，x为方阵A对应于或属于特征值 λ 的
转载
2024-10-17 21:57:24
54阅读
文章目录一、向量的线性相关，线性无关以及和可逆矩阵的关系1.1 线性相关与线性无关1.2 线性相关与可逆的关系二、向量的内积，范数，正交，规范正交基2.1 内积2.2 范数与正交2.3 规范正交基三、施密特正交化3.1 定义3.2 例3.3 正交矩阵四、特征值和特征向量的定义以及直观的意义4.1 定义4.2 例（二阶）五、特征值与特征向量的求法以及常用性质5.1 例1（三阶）5.2 例2（三阶）5
转载
2024-07-22 16:21:25
108阅读
目录0 原理 1 OpenCV中的BRIEF 2 OpenCV中的ORB算法0 原理对于一个 OpenCV 的狂热爱好者来说 ORB 最重要的一点就是：它来自“OpenCV_Labs''。这个算法是在 2011 年提出的。在计算开支，匹配效率以 及更主要的是专利问题方面 ORB 算法是是 SIFT 和 SURF 算法的一个
我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选，比如我们有200个候选自变量，通常情况下，不会直接把200个变量直接放到模型中去进行拟合训练，而是会用一些方法，从这200个自变量中挑选一些出来，放进模型，形成入模变量列表。 挑选入模变量过程是个比较复杂的过程，需要考
转载
2024-07-31 10:54:28
600阅读
特征选择阶段的重要程度量化和将具体文本转化为向量时的特征权重量化。初次接触文本分类的人很容易混淆这两个步骤使用的方法和各自的目的，因而我经常听到读者有类似“如何使用TFIDF做特征选择”或者“卡方检验量化权重后每篇文章都一样”等等困惑。 文本分类本质上也是一个模式识别的问题，因此我想借用一个更直观的例子来说说特征选择和权重量化到底各自是什
第四章 低级特征提取（4）定位特征提取：角点提取4.4 定位特征提取4.4.1 检测图像曲率（即角点提取）a. 在边缘对图像进行特征化的基础上，曲率进一对边缘进行特征化，通过角点对边缘曲线进行表征； b. 曲率通常利用平面曲线的参数形式定义，参数化的轮廓表示为， 其中Ux=[1, 0]，Uy=[0, 1]，即将连续曲线描述为位置矢量组，t表示任意参数如时间； 位置矢量的变化采用v(t)的正切矢量函
1 幂法和反幂法1.1 幂法幂法主要用于求矩阵的按模[1]最大的特征值与相应的特征向量。它是通过迭代产生向量序列，由此计算特征值和特征向量。设阶实矩阵的特征值满足：且与相应的特征向量线性无关。（？为什么线性无关）给定初始向量，由迭代公式产生向量序列，可以证明，当充分大时，有，相应的特征向量为。为简便起见，不妨设。因为线性无关（线性无关的概念），故必存在n个不全为零的数，使得。由式（4-1）得：即：
转载
2024-04-12 14:28:53
136阅读
# -*- coding: utf-8 -*-
"""
Created on Tue Jul 31 15:09:58 2018
@author: Administrator
"""
'''
从字典类型加载特征
类 DictVectorizer 可用于将标准的Python字典（dict）对象列表的要素数组转换为 scikit-learn 估计器使用的 NumPy/SciPy 表示形式。
'''
转载
2024-09-29 08:54:12
24阅读
boostingBoosting 算法的特点在于：将表现一般的亚博弱分类器通过组合变成更好的体育app模型。代表自然就是我们的随即森林了。GBDT和Adaboost是boost算法中比较常见的两种，这里主要讲解Adaboost。AdaboostAdaboost算法的核心就是两个权重。对于数据有一个权重，权重大的数据计算的损失就大；然后对于每一个弱分类器有一个权重，这个权重就是每一个弱分类器最终投票
转载
2024-10-31 20:21:33
43阅读
1.1多项式拟合生成目标数据目标数据集的生成方式:首先计算函数sin (2πx) 的对应的值然后给每个点增加一个小的符合高斯分布的随机噪声通过使用这种方式产生数据,它们拥有一个内在的规律,这个规律是我们想要学习的。同时也包含随即噪声，这种噪声可能由随机的过程产生，也可能是由于存在没有被观察到的具有变化性的噪声源。训练数据和测试数据:训练数据用来训练多项式模型,来学习数据中的规律测试数据,测试模型在
转载
2024-09-29 15:39:46
31阅读
目录1 无监督 (unsupervised) 方法1.1 统计方法（TF, TF-IDF, YAKE)1.2 图方法 (TextRank, SingleRank, TopicRank, PositionRank)2 有监督 (supervised ) 统计方法2.1 Delta TF-IDF2.2 TF-IDF-ICF2.3 TF-RF2.4 TF-IGM2.5 CTF-ICF3 有监督 (su
https://www.nowcoder.com/discuss/2059551 特征工程：最大限度地数据中提取特征以供模型和算法使用，包括特征处理，特征选择，降维。2 lgb2.1 基本介绍： 一个梯度boosting框架，使用决策树，分布式，训练效率，准确率高，内存低，处理数据地规模大。2.2 xgb的缺点：每次迭代都要遍历数据很多次：预排序法： 要保存数据的特征值以及特征排序的结果
1. 特征选择的思维导图 2. XGBoost特征选择算法 (1) XGBoost算法背景 2016年，陈天奇在论文《 XGBoost：A Scalable Tree Boosting System》中正式提出该算法。XGBoost的基本思想和GBDT相同，但是做了一些优化，比如二阶导数使损失函数更 ...
转载
2021-10-19 21:25:00
2108阅读
2评论
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号：datayx在机器学习实践中，我们要经常用到xgboost框架去训练数据，然后用训练得到的模型再去预...
转载
2021-10-25 15:16:21
1087阅读
Adaboost数据权重与弱分类器
刚刚已经介绍了单层决策树的原理，这里有一个问题，如果训练数据保持不变，那么单层决策树找到的最佳决策点每一次必然都是一样的，为什么呢？因为单层决策树是把所有可能的决策点都找了一遍然后选择了最好的，如果训练数据不变，那么每次找到的最好的点当然都是同一个点了。
所以，这里Adaboost数据权重就派上用场了，所谓“数据的权重主要用于弱分类器寻找其分类误差最小的点”，
转载
2024-04-12 05:09:50
133阅读
sklearn练习-1K近邻算法（knn）练习 K近邻算法（knn）API：sklearn.neighbors.KNeighborsClassifierKNeighborsClassifier(
n_neighbors=5,
weights='uniform', #uniform neighbors权重相同
algorithm='auto',
leaf_size=30,
p=2,
metric
在第一章中作者使用的权重初始化方法是将权重以标准正态分布N~(0,1)进行初始化，本章作者介绍使网络更加高效的权重初始化方式。作者假设网络有1000个输入，其中500个值为0，500个值为1，第一隐藏层的节点未激活输出为，那么其输出实际上就是501个独立正态分布变量之和，其中包括500个w和1个bias。独立的正态分布变量之和仍然是正态分布，则未激活输出仍然满足正态分布N~(0，501)，即其方差
讲解的非常好的文章推荐：https://zhuanlan.zhihu.com/p/102708578一.为什么权重初始化值得学习？正向传播中：权重w比1小，随着层数增加，权重连乘会导致结果出现指数级减少；权重比1大，随着层数的增加，权重连乘会导致结果出现指数爆炸式增长。反向传播中：这些因子连续相乘，带来的影响是指数级的。
我们希望的是损失函数收敛时，梯度为0（接近0），这时损失函数不再下降。
特征衍生和特征选择是工作中比较耗时的部分 . 特征工程特征选择 (feature_selection)Filter移除低方差的特征 (Removing features with low variance)单变量特征选择 (Univariate feature selection)Wrapper递归特征消除 (Recursive Feature Elimination)Emb
