模型中所用到的变量按能否直接运算分为两类。如果一个变量能直接运算，则为定量变量。对于这类变量，可以直接在模型里使用它。但是这样的使用方法隐含了变量的边际效应恒定这样一个假设。当需要去除这个隐藏的限制时，则可以将定量变量通过分段的方式转化为定性变量使用。如果一个变量不能直接运算，则为定性变量。为了能在模型里使用这类变量，通常将其转化为多个虚拟变量使用。但对于有序的定性变量，这样处理会损失掉变...
原创
2022-03-15 14:06:34
24阅读
对于机器学习模型，我们把他们分成基于树的模型和非基于树的模型，因为在处理他们的特征需要不同的方法。1.数值型特征如果一个特征的值特别大的话，那么会使得其在非树模型上占有很大的比例，所以我们通常对其做归一化处理。
Outliers：不管是对特征还是标签，异常数据对模型的鲁棒性都会带来较大的打击，所以常用取数据的99%来去除异常数据。
rank：在处理outlier的时候可以把数值型转化成rank排序
转载
2023-08-19 18:38:33
69阅读
摘要“数据与特征决定了一个模型的上限，而模型算法的目的则为逼近这个上限” 对于特征一般的处理流程是|：特征提取->特征清洗–>特征处理–>特征监控特征工程的一些处理方法：数值特征处理：方法一：无量纲处理：无量纲化使得不同规格的数据转换成为到同一规格。常见的无量纲化处理包括标准化与区间缩放法；一般而言，标准化的前提是特征服从正态分布，经过标准化后，将其转换为标准正态分布。区间缩放法
模型中所用到的变量按能否直接运算分为两类。如果一个变量能直接运算，则为定量变量。对于这类变量，可以直接在模型里使用它。但是这样的使用方法隐含了变量的边际效应恒定这样一个假设。当需要去除这个隐藏的限制时，则可以将定量变量通过分段的方式转化为定性变量使用。如果一个变量不能直接运算，则为定性变量。为了能在模型里使用这类变量，通常将其转化为多个虚拟变量使用。但对于有序的定性变量，这样处理会损失掉变...
原创
2021-08-04 13:56:36
81阅读
曾为培训讲师，由于涉及公司版权问题，现文章内容全部重写，地址为https://www.cnblogs.com/nickchen121/p/11686958.html。 更新、更全的Python相关更新网站，更有数据结构、人工智能、Mysql数据库、爬虫、大数据分析教学等着你：https://www.
原创
2021-05-20 19:47:20
234阅读
其中count encoder，one-hot encoder，label encoder主要针对低基数无序特征，比如性别。可以采用target encoder或者mean encoder的方法来针对高基数无序特征，比如地区，邮编等一、Label EncodingLabelEncoder() 将转换成连续的数值型变量。即是对不连续的数字或者文本进行编号，我们知道
# -*- coding: utf-8 -*-"""Spyder EditorThis is a temporary script file."""import numpy as npfrom sklearn.preprocessing import StandardScaler#模块1 标准化#无量纲化使不同规格的数据转换到同一规格。常见的无量纲化方法有标准化和区间缩放法。#标准化的前提是特征值
转载
2016-08-10 20:28:00
157阅读
2评论
1 什么是特征预处理 1.1 特征预处理定义 scikit-learn的解释 provides several common utility functions and transformer classes to change raw feature vectors into a represen ...
转载
2021-11-03 09:47:00
94阅读
2评论
0.导语特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。在此之前，我已经写了以下几篇AI基础的快速入门，本篇文章讲解特征工程基础第二部分：（数字特征处理）。目前已经发布：AI基础：Python简易入门AI基础：Numpy简易入门AI基础：Pandas简易入门AI基础：Scipy(科学计算库)简易入门AI基础：数据可视化简易入门（matp
原创
2020-12-26 15:14:40
1196阅读
一.查看变量的缺失值（missing value，空值）个数以及所占比例 连续型数据探索 二.画频数占比分布图，查看样本在该特征值上的分布 根据连续变量的值域范围，将该变量分成10箱，就是分成10段，箱数可自由选择； 统计每一箱内样本的频数占比：该箱内样本个数/总样本个数。然后将每一箱的频数比例画出
转载
2019-07-06 09:18:00
481阅读
2评论
GBDT+LR的提出源自于高特征交叉带来的组合爆炸问题。推荐系统中的FM及FFM都是在基本特征的基础之上进一步构造新的特征（特征与特征之间的交叉）。2014年，Facebook提出了基于GBDT+LR组合模型的解决方法。GBDT+LR的使用场景GBDT+LR主要运用在CTR点击率预估，即去计算用户点击推送广告的概率。那么为什么要采用这种组合方式呢？因为点击率预估涉及到的样本一般是上亿级别的，样本量
0.导语特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。在此之前，我已经写了以下几篇AI基础的快速入门，本篇文章讲解特征工程基础第三部分：（文本特征处理）。目前已经发布：AI基础：Python简易入门AI基础：Numpy简易入门AI基础：Pandas简易入门AI基础：Scipy(科学计算库)简易入门AI基础：数据可视化简易入门（matp
原创
2020-12-26 11:10:49
1396阅读
最大限度地从原始数据中提取特征以供算法和模型使用。在此之前，我已经写了以下几篇AI基础的快速入门，本篇文章讲解特征工...
原创
2022-12-12 12:52:11
413阅读
预处理输入特征 为神经网络准备数据需要将所有特征转换为数值特征，通常将其归一化等。特别是如果数据包含分类特征或文本特征，则需要将它们转换为数字。 在准备数据文件时，可以使用任何喜欢的工具（例如NumPy、pandas或Scikit-Learn）提前完成此操作。或者，可以在使用Data API加载数据 ...
转载
2021-10-29 19:31:00
549阅读
2评论
GPU特征处理技术 GPU和CPU有何不同？ 现代片上系统（SoC）通常集成中央处理器（CPU）和图形处理器（GPU）。设计不同，这可能更取决于处理的数据集的类型。 CPU经过优化，可以一次对几块数据执行大量分支任务。在CPU上运行的线程通常是唯一的，并且是独立执行的，通常独立于所有其他线程。任何给
转载
2021-06-08 06:21:00
428阅读
2评论
特征处理是通过特定的统计方法（数学方法）将数据转换成算法要求的数据。数值型数据：标准缩放：1、归一化2、标准化3、缺失值类别性数据：one-hot编码时间类型：时间的切分sklearn特征处理APIsklearn.preprocessing归一化特点：通过对原始数据进行变换把数据映射到(默认为
转载
2022-06-01 18:36:06
222阅读
LOG,HOG,DOG微分算子在近圆的斑点检测方面效果很好HOG特征
原创
2023-04-12 09:26:50
266阅读
数据预处理与特征工程 这篇抄的 有空再整理
特征工程包括数据与特征处理、特征选择和降纬三部分。数据与特征处理包括：
1.数据选择、清洗、采样数据格式化；数据清洗，填充缺失值、去掉脏数据，将不可信的样本丢掉，缺省值极多的字段考虑不用；采样：针对正负样本不平衡的情况，当正样本远大于负样本时，且量都很大时，使用下采样，量不大时，可采集更多的数
转载
2023-05-25 15:02:50
98阅读
