文本分类之特征选择1 研究背景 对于高纬度的分类问题，我们在分类之前一般会进行特征降维，特征降维的技术一般会有特征提取和特征选择。而对于文本分类问题，我们一般使用特征选择方法。特征提取：PCA、线性判别分析特征选择：文档频数、信息增益、期望交叉熵、互信息、文本证据权、卡方等特征选择的目的一般是：避免过拟合，提高分类准确度通过降维，大大节省计算时间和空间特征选择基本思想：1）构造一个评价函数2）对
转载
2024-04-28 16:02:24
43阅读
一、什么是Deep Learning？ 实际生活中，人们为了解决一个问题，如对象的分类（对象可是是文档、图像等），首先必须做的事情是如何来表达一个对象，即必须抽取一些特征来表示一个对象，如文本的处理中，常常用词集合来表示一个文档，或把文档表示在向量空间中（称为VSM模型），然后才能提出不同的分类算法来进行分类；又如在图像处理中，我们可以用像素集合来表示一个图像，后来人们提出了新的特征表示，如SIF
看完颜色的物理和数学描述基础，再来分析颜色的哲学基础，颜色的人文语义属性。颜色的基本三属性为色相、明度和纯度。 来自于百科：色彩是通过眼、脑和我们的生活经验所产生的一种对光的视觉效应。人对颜色的感觉不仅仅由光的物理性
转载
2024-07-31 17:53:25
61阅读
Fast RCNN的paper地址：https://arxiv.org/abs/1504.08083FastRCNN是基于RCNN和SPPnet等网络的基础上上做了系列的创新型的改进得到的，比起前面的工作既提高了训练和测试的速度，也提高了一点准确度。文章作者分析了RCNN和SPPnet各自的 缺点，然后对比指出自己的Fast RCNN带来了哪些贡献。RCNN的缺点：Training is a mu
《Faster-Rcnn中RPN（Region Proposal Network）的理解》 一、网络流图 &nb
我想计算Haar特征，自己手动计算感觉挺麻烦（主要在取各个不同位置、不同scale的特征），而且可能速度不够。
OpenCV 的这个把所有东西都封装起来了，由于我的online-boosting和它的框架不一样，不能直接使用。我在源码中看了半天，发现里面又有 internal haar feature又有fast haar feature，还有什么Thaar feature。源码中注释比较少，
转载
2024-08-23 17:22:10
57阅读
学习目标应用DictVectorizer实现对类别特征进行数值化、离散化应用CountVectorizer实现对文本特征进行数值化应用TfidfVectorizer实现对文本特征进行数值化说出两种文本特征提取的方式区别1 特征提取1.1 定义特征提取是将任意数据（如文本或图像）转换为可用于机器学习的数字特征注：特征值化是为了计算机更好的去理解数据字典特征提取(特征离散化)文本特征提取图像特征提取（
转载
2024-06-29 19:25:55
45阅读
机器学习系列：(三)特征提取与处理
特征提取与处理 上一章案例中的解释变量都是数值，比如匹萨的直接。而很多机器学习问题需要研究的对象可能是分类变量、文字甚至图像。本章，我们介绍提取这些变量特征的方法。这些技术是数据处理的前提——序列化，更是机器学习的基础，影响到本书的所有章节。分类变量特征提取 许多机器学习问题都有分类的、标记的变量，不是连续的。例如，一个应用是用分类特
转载
2024-08-23 20:39:49
52阅读
参考：《数据科学手册》–Field Cady 特征工程在实际业务中的应用 -Datawhale 这篇特征工程的文章–全网最通透 -kaggle竞赛宝典特征工程定义寻找基本特征，构建组合特征有些区分不同label的样本。 建模就是从数据中学习到insights过程，需要经过数据表达，模型的学习两步特征提取思路标准特征是否确实分类变量
类别很多情况下，有些类别可能很少见，此时通常选择一些阈值训练
转载
2024-05-02 11:40:11
45阅读
什么是图像识别 •
图像识别技术是信息时代的一门重要的技术，其产生目的是为了让计算机代替人类去处理大量的物理信息。随着计算机技术的发展，人类对图像识别技术的认识越来越深刻 •
图像识别技术的定义为利用计算机对图像进行处理、分析和理解，以识别不同模式的目标和对象的技术 •
图像识别技术的过程分为信息的获取、预处理、特征抽取和选择、分类器设计和分类决策 举个栗子： 好看不？卧
转载
2024-08-08 17:11:38
96阅读
一、为什么CNN、卷积能够提取特征？首先这个问题就不能说是一个恰当的问题，就图像处理角度来看，特征是数字图像映射到计算机处理的矩阵，而每个矩阵的数值就是一个特征点，由一幅图像组成的整个特征矩阵就是一个特征图，每输入网络的点（0~255数值）针对神经网络而言都是一个特征，不同维度的特征就是不同维度的特征向量。故卷积、CNN并不是完全说是提取特征，而是对特征的一种处理或者说是转变（stride步长 &
转载
2023-12-11 12:42:13
228阅读
一、Haar-like特征边缘特征、线性特征、中心特征和对角线特征【也可以分成三类：边缘特征、线性特征(包含对角线特征)、点特征（中心特征）】，组合成特征模板。特征模板内有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。Haar特征值反映了图像的灰度变化情况。例如：脸部的一些特征能由矩形特征简单的描述，如：眼睛要比脸颊颜色要深，鼻梁两侧比鼻梁颜色要深，嘴巴比周围颜色要深
转载
2024-01-09 19:10:32
208阅读
特征选择(亦即降维)是数据预处理中非常重要的一个步骤。对于分类来说，特征选择可以从众多的特征中选择对分类最重要的那些特征，去除原数据中的噪音。主成分分析(PCA)与线性判别式分析(LDA)是两种最常用的特征选择算法。关于PCA的介绍，可以见我的另一篇博文。这里主要介绍线性判别式分析(LDA)，主要基于Fisher Discriminant Analysis with Kernals[
转载
2024-01-13 22:43:19
363阅读
Bi-LSTM@目录Bi-LSTM1.理论1.1 基本模型1.2 Bi-LSTM的特点2.实验2.1 实验步骤2.2 实验模型1.理论1.1 基本模型Bi-LSTM模型分为2个独立的LSTM,输入序列分别以正序和逆序输入至2个LSTM模型进行特征提取,将2个输出向量进行拼接后形成的词向量作为该词的最终特征表达(因此底层维度是普通LSTM隐藏层维度的两倍)1.2 Bi-LSTM的特点Bi-LSTM的
转载
2024-07-20 09:29:24
123阅读
传统的图像特征提取（特征工程）主要是基于各种先验模型，通过提取图像关键点、生成描述子特征数据、进行数据匹配或者机器学习方法对特征数据二分类/多分类实现图像的对象检测与识别。卷积神经网络通过计算机自动提取特征（表示工程）实现图像特征的提取与抽象，通过MLP实现数据的回归与分类。二者提取的特征数据都具不变性特征。迁移不变形尺度不变性辐照度/亮度不变性CNN为什么能提取到图像特征？关键点在于CNN有两种
转载
2024-03-19 13:47:44
247阅读
文章目录1 定义2. 字典特征提取API3. 字典特征提取案例：1.实现效果：2.实现代
原创
2023-01-09 17:08:53
433阅读
使用预训练网络提取图像特征，并用于分类。
上一节中，我们采用了一个自定义的网络结构，从头开始训练猫狗大战分类器，最终在使用图像增强的方式下得到了82%的验证准确率。但是，想要将深度学习应用于小型图像数据集，通常不会贸然采用复杂网络并且从头开始训练（training from scratch），因为训练代价高，且很难避免过拟合问题。相对的，通常会采用一种更
转载
2023-10-16 13:20:39
231阅读
目录一.SVM深入理解1.支持向量机(SVM)2.惩罚参数C3.核函数4.多分类支持向量机.5.鸢尾花数据集5.1线性处理5.2 多项式分类5.3高斯核6.月亮数据集6.1线性SVM6.2多项式核6.3高斯核二.人脸特征提取1.用python3+opencv3.4+dlib库编程，打开摄像头，实时采集人脸并保存、绘制68个特征点2.给人脸虚拟P上一付墨镜总结 一.SVM深入理解1.支持向量机(S
转载
2024-07-27 13:54:11
101阅读
从信息提取的角度思考，图片为什么要输入——>网络模型（卷积神经网络（ResNet系列）对比 ViT (Vision Transformer））1. 卷积核的工作原理：特征提取：卷积核通过在输入图像（或特征图）上滑动来提取特征。每个卷积核负责从输入数据中提取一种特定类型的特征，例如边缘、颜色变化、纹理等。权重和偏置：每个卷积核都有一组权重和一个偏置项，这些参数在训练过程中通过反向传播算法进行学
转载
2024-06-27 08:14:03
464阅读
概述上一篇文章我们一起学习了GCN网络，它的作用是提取特征点和描述子，用于匹配得到位姿。本次我们一起学习它的改进版GCNv2，改进版在速度上大幅度提升，精度上和原网络性能相当。并且改进版所提取的特征点具有和ORB一样的格式，因此作者把它在ORB-SLAM中替换掉了ORB特征，也就是GCN-SLAM。论文链接：https://arxiv.org/abs/1902.11046v1代码链接
转载
2024-02-28 20:50:12
287阅读
