一、什么是PCA PCA，即PrincipalComponents Analysis，也就是主成份分析； 通俗的讲，就是寻找一系列的投影方向，高维数据按照这些方向投影后其方差最大化（方差最大的即是第一主成份，方差次大的为第二主成份... 如下图：数据点沿该方向投影后，方差最大，投影之后，由于各...
转载
2014-07-21 18:36:00
247阅读
2评论
1. 单变量线性回归的定义 2. 梯度下降算法 3. 梯度下降的线性回归单变量线性回归的定义线性回归是一种有监督的学习，解决的是自变量和因变量之间的关系。本次学习的是单变量线性回归。回归指的是因变量是连续性的，而如果因变量是离散型的，则是分类问题。比如房子的面积与房价之间的关系，这是回归问题。而一个人是否逾期是一个分类问题。监督学习算法的工作方式可以用如下这张图表示：
# 机器学习中的特征值选取
在机器学习中，特征值选取（Feature Selection）是一个重要的步骤，它直接影响到模型的性能和预测精度。特征值是描述数据的重要属性，选择合适的特征能够提升模型的效率、准确性，并降低过拟合风险。在这篇文章中，我们将探讨特征值选取的方法，并给出代码示例。
## 为什么选择特征值？
特征值选取的主要目的包括：
- **降低维度**：减少数据集中的特征数量，以
Breiman在2001年提出了随机森林方法，是集成学习bagging类方法的一种，也是最早的集成学习算法之一。随机森林可以在绝大多数的数据集上表现出比单独的决策树更好的性能，同时随机森林本身也可以作为一种特征选择的方法。一、随机森林原理 随机森林算法本质是对决策树算法的一种改进，将多个决策树合并在一起，
在过去的二十年中，计算机视觉研究已经集中在人工标定上，用于提取良好的图像特征。在一段时间内，图像特征提取器，如 SIFT 和 HOG 是标准步骤。深度学习研究的最新发展已经扩展了传统机器学习模型的范围，将自动特征提取作为基础层。他们本质上取代手动定义的特征图像提取器与手动定义的模型，自动学习和提取特征。人工标定仍然存在，只是进一步深入到建模中去。 本博客先从流行的图像特征提取SIFT和HOG
真正开始动手写，才发现以前理解的不够深。弄懂一个算法，要想明白哪些问题？集合里有m个样本，n个特征，gbdt每棵回归树怎么构造（选取多少样本，多少特征），它的损失函数怎么拟合，残差是怎么回事，梯度在其中的作用。 GBDT有很多简称，有GBT（Gradient Boosting Tree）, GTB（Gradient Tree Boosting ）， GBRT（Gradie
mean decrease impurity和mean decrease accuracy。平均不纯度减少----mean decrease impurity随机森林由多个决策树构成。决策树中的每一个节点都是关于某个特征的条件，为的是将数据集按照不同的响应变量一分为二。利用不纯度可以确定节点（最优条件），对于分类问题，通常采用基尼不纯度或者信息增益，对于回归问题，通常采用
转载
2023-10-23 16:16:35
109阅读
特征点检测算法汇总FASTFAST 是一种角点，主要 检测局部像素灰度变化明显的地方，以速度快著称。它的思想是:如果一个像素与邻域的像素差别较大(过亮或过暗) ，那么它更可能是角点。相比于其他角点检测算法， FAST 只需比较像素亮度的大小，十分快捷。它的检测过程如下: 1.在图像中选取像素p ， 假设它的亮度为Ip 。 2. 设置一个阔值T( 比如， ι 的20%)。 3. 以像素p 为中心，选
转载
2023-09-06 19:19:00
119阅读
在使用Python进行数据分析时，Jupyter Notebook是一个非常强力的工具，在数据集不是很大的情况下，我们可以使用pandas轻松对txt或csv等纯文本格式数据进行读写。然而当数据集的维度或者体积很大时，将数据保存并加载回内存的过程就会变慢，并且每次启动Jupyter Notebook时都需要等待一段时间直到数据重新加载， 这样csv格式或任何其他纯文本格式数据都失去了吸引力。本文将
支持连续变量和类别变量，类别变量就是某个属性有三个值,a,b,c，需要用Feature Transformers中的vectorindexer处理 上来是一堆参数 setMaxDepth：最大树深度 setMaxBins：最大装箱数，为了近似统计变量，比如变量有100个值，我只分成10段去做统计 s
原创
2021-07-08 16:55:35
286阅读
内置方法一 isinstance(obj,cls)和issubclass(sub,super)isinstance(obj,cls)检查是否obj是否是类 cls 的对象class Foo(object):
pass
obj = Foo()
isinstance(obj, Foo)issubclass(sub, super)检查sub类是否是 super 类的派生类class Foo(ob
摘要：现如今,数据规模快速增长,使得如何从繁杂无序的数据中提取有用信息,成为摆在大家面前的一个课题.数据挖掘技术应运而生,凭借其优越性能已经被广泛的应用于复杂数据的分析.同时,机器学习技术日趋成熟和完善,越来越多的机器学习方法被应用到数据挖掘问题中.利用机器学习中的虑噪,特征选择等技术,可以有效的从大量繁杂数据中获取有价值的信息,这可以为后续分析研究打下坚实的基础. 随机森林是一种优秀的机器学习方
导读表征学习的目标是从数据中提取足够但最少的信息。传统上，该目标可以通过先验知识以及基于数据和任务的领域专业知识来实现，这也被称为特征工程。特征工程是利用人类的现有知识的一种方式，旨在从数据中提取并获得用于机器学习任务的判别信息（比如从音频中通过傅立叶变换提取出mel频谱）。特征工程的缺点：需要领域专家的密集劳动，这是因为特征工程可能需要模型开发者和领域专家之间紧密而广泛的合作。不完整的和带有偏见
转载
2023-09-06 18:50:59
82阅读
http://blog.csdn.net/w5310335/article/details/48972587 使用GBDT选取特征 2015-03-31 本文介绍如何使用scikit-learn的GBDT工具进行特征选取。 为什麽选取特征 有些特征意义不大，删除后不影响效果，甚至可能提升效果。 关于
转载
2016-12-22 14:52:00
45阅读
2评论
#数据标准化#StandardScaler (基于特征矩阵的列，将属性值转换至服从正态分布)#标准化是依照特征矩阵的列处理数据，其通过求z-score的方法，将样本的特征值转换到同一量纲下#常用与基于正态分布的算法，比如回归 #数据归一化#MinMaxScaler （区间缩放，基于最大最小值，将数据
转载
2019-08-19 16:29:00
887阅读
2评论
在机器学习中，随机森林是一个包含多个决策树的分类器。要说随机森林，必须先讲决策树。决策树是一种基本的分类器，一般是将特征分为两类。构建好的决策树呈树形结构，可以认为是if-then规则的集合，主要优点是模型具有可读性，分类速度快。决策树的主要工作，就是选取特征对数据集进行划分，最后把数据贴上两类不同的标签。如何选取最好的特征呢？在现实应用中，我们用不同的准则衡量特征的贡献程度。主流准则的列举3个：
SIFT特征点选取：SIFT具有尺度鲁棒性，而角点检测显然不具有，当图像尺度发生
原创
2022-06-27 23:37:20
898阅读
### Android 图片选取和拍照选取实现指南
在Android应用开发中，图片选取和拍照是常见的功能需求。本文将通过详细的步骤与示例代码来教你如何实现这一功能。我们首先明确整个流程，然后逐步讲解每个环节的代码。
#### 整体流程
以下是实现“Android 图片选取和拍照选取”的步骤：
| 步骤 | 描述 |
| -------
1. Harris 角点检测Harris 角点检测通过图像的一个小部分窗口观察图像。角点的特点是窗口向任意方向移动都会引起图像灰度的显著变化。将上述思想转化为数学形式，即将局部窗口向各个方向移动(u,v)，计算所有灰度差的总和。其中 I(x,y) 是局部窗口的图像灰度， I(x+u,y+v) 为平移后的图像灰度，w(x,y) 是窗口函数。窗口可以是矩形窗口，也可以是为每个像素分配不同权重的高斯窗口
转载
2023-08-01 23:00:19
141阅读
本文系 王晓华 老师 GitChat 【算法应该怎么玩】课程笔记。1. 穷举法概念穷举法又称穷举搜索法，是一种在问题域的解空间中对所有可能的解穷举搜索，并根据条件选择最优解的方法的总称。数学上也把穷举法称为枚举法，就是在一个由有限个元素构成的集合中，把所有元素一一枚举研究的方法。穷举法一般用来找出符合条件的所有解，但是如果给出最优解的判断条件，穷举法也可以用于求解最优解问题。2. 设计思路使用穷举
转载
2023-05-22 23:55:15
100阅读
