模型中所用到的变量按能否直接运算分为两类。如果一个变量能直接运算，则为定量变量。对于这类变量，可以直接在模型里使用它。但是这样的使用方法隐含了变量的边际效应恒定这样一个假设。当需要去除这个隐藏的限制时，则可以将定量变量通过分段的方式转化为定性变量使用。如果一个变量不能直接运算，则为定性变量。为了能在模型里使用这类变量，通常将其转化为多个虚拟变量使用。但对于有序的定性变量，这样处理会损失掉变...
原创
2022-03-15 14:06:34
33阅读
对于机器学习模型，我们把他们分成基于树的模型和非基于树的模型，因为在处理他们的特征需要不同的方法。1.数值型特征如果一个特征的值特别大的话，那么会使得其在非树模型上占有很大的比例，所以我们通常对其做归一化处理。
Outliers：不管是对特征还是标签，异常数据对模型的鲁棒性都会带来较大的打击，所以常用取数据的99%来去除异常数据。
rank：在处理outlier的时候可以把数值型转化成rank排序
转载
2023-08-19 18:38:33
72阅读
模型中所用到的变量按能否直接运算分为两类。如果一个变量能直接运算，则为定量变量。对于这类变量，可以直接在模型里使用它。但是这样的使用方法隐含了变量的边际效应恒定这样一个假设。当需要去除这个隐藏的限制时，则可以将定量变量通过分段的方式转化为定性变量使用。如果一个变量不能直接运算，则为定性变量。为了能在模型里使用这类变量，通常将其转化为多个虚拟变量使用。但对于有序的定性变量，这样处理会损失掉变...
原创
2021-08-04 13:56:36
86阅读
摘要“数据与特征决定了一个模型的上限，而模型算法的目的则为逼近这个上限” 对于特征一般的处理流程是|：特征提取->特征清洗–>特征处理–>特征监控特征工程的一些处理方法：数值特征处理：方法一：无量纲处理：无量纲化使得不同规格的数据转换成为到同一规格。常见的无量纲化处理包括标准化与区间缩放法；一般而言，标准化的前提是特征服从正态分布，经过标准化后，将其转换为标准正态分布。区间缩放法
转载
2024-06-28 17:56:09
55阅读
曾为培训讲师，由于涉及公司版权问题，现文章内容全部重写，地址为https://www.cnblogs.com/nickchen121/p/11686958.html。 更新、更全的Python相关更新网站，更有数据结构、人工智能、Mysql数据库、爬虫、大数据分析教学等着你：https://www.
原创
2021-05-20 19:47:20
259阅读
其中count encoder，one-hot encoder，label encoder主要针对低基数无序特征，比如性别。可以采用target encoder或者mean encoder的方法来针对高基数无序特征，比如地区，邮编等一、Label EncodingLabelEncoder() 将转换成连续的数值型变量。即是对不连续的数字或者文本进行编号，我们知道
转载
2024-02-18 15:09:42
70阅读
# -*- coding: utf-8 -*-"""Spyder EditorThis is a temporary script file."""import numpy as npfrom sklearn.preprocessing import StandardScaler#模块1 标准化#无量纲化使不同规格的数据转换到同一规格。常见的无量纲化方法有标准化和区间缩放法。#标准化的前提是特征值
转载
2016-08-10 20:28:00
178阅读
2评论
1 什么是特征预处理 1.1 特征预处理定义 scikit-learn的解释 provides several common utility functions and transformer classes to change raw feature vectors into a represen ...
转载
2021-11-03 09:47:00
125阅读
2评论
0.导语特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。在此之前，我已经写了以下几篇AI基础的快速入门，本篇文章讲解特征工程基础第二部分：（数字特征处理）。目前已经发布：AI基础：Python简易入门AI基础：Numpy简易入门AI基础：Pandas简易入门AI基础：Scipy(科学计算库)简易入门AI基础：数据可视化简易入门（matp
原创
2020-12-26 15:14:40
1342阅读
一.查看变量的缺失值（missing value，空值）个数以及所占比例 连续型数据探索 二.画频数占比分布图，查看样本在该特征值上的分布 根据连续变量的值域范围，将该变量分成10箱，就是分成10段，箱数可自由选择； 统计每一箱内样本的频数占比：该箱内样本个数/总样本个数。然后将每一箱的频数比例画出
转载
2019-07-06 09:18:00
546阅读
2评论
GBDT+LR的提出源自于高特征交叉带来的组合爆炸问题。推荐系统中的FM及FFM都是在基本特征的基础之上进一步构造新的特征（特征与特征之间的交叉）。2014年，Facebook提出了基于GBDT+LR组合模型的解决方法。GBDT+LR的使用场景GBDT+LR主要运用在CTR点击率预估，即去计算用户点击推送广告的概率。那么为什么要采用这种组合方式呢？因为点击率预估涉及到的样本一般是上亿级别的，样本量
转载
2024-07-27 11:17:37
31阅读
1.简介gbdt全称梯度下降树，在传统机器学习算法里面是对真实分布拟合的最好的几种算法之一，在前几年深度学习还没有大行其道之前，gbdt在各种竞赛是大放异彩。原因大概有几个，一是效果确实挺不错。二是即可以用于分类也可以用于回归。三是可以筛选特征。这三点实在是太吸引人了，导致在面试的时候大家也非常喜欢问这个算法。 gbdt的面试考核点，大致有下面几个:gbdt 的算法的流程？gbdt 如何
0.导语特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。在此之前，我已经写了以下几篇AI基础的快速入门，本篇文章讲解特征工程基础第三部分：（文本特征处理）。目前已经发布：AI基础：Python简易入门AI基础：Numpy简易入门AI基础：Pandas简易入门AI基础：Scipy(科学计算库)简易入门AI基础：数据可视化简易入门（matp
原创
2020-12-26 11:10:49
1540阅读
最大限度地从原始数据中提取特征以供算法和模型使用。在此之前，我已经写了以下几篇AI基础的快速入门，本篇文章讲解特征工...
原创
2022-12-12 12:52:11
444阅读
预处理输入特征 为神经网络准备数据需要将所有特征转换为数值特征，通常将其归一化等。特别是如果数据包含分类特征或文本特征，则需要将它们转换为数字。 在准备数据文件时，可以使用任何喜欢的工具（例如NumPy、pandas或Scikit-Learn）提前完成此操作。或者，可以在使用Data API加载数据 ...
转载
2021-10-29 19:31:00
636阅读
2评论
GPU特征处理技术 GPU和CPU有何不同？ 现代片上系统（SoC）通常集成中央处理器（CPU）和图形处理器（GPU）。设计不同，这可能更取决于处理的数据集的类型。 CPU经过优化，可以一次对几块数据执行大量分支任务。在CPU上运行的线程通常是唯一的，并且是独立执行的，通常独立于所有其他线程。任何给
转载
2021-06-08 06:21:00
440阅读
2评论
# PyTorch Embedding 特征处理入门
在深度学习中，特征处理是数据预处理过程的重要组成部分。其中，嵌入（Embedding）技术用于将离散特征转换为连续的向量表示，广泛应用于自然语言处理、推荐系统等领域。在PyTorch中，用户可以方便地实现这一功能。本文将介绍PyTorch中的嵌入特征处理，并通过实例演示如何使用嵌入层。
## 什么是嵌入（Embedding）
嵌入是一种将
原创
2024-09-22 07:01:45
181阅读
特征处理是通过特定的统计方法（数学方法）将数据转换成算法要求的数据。数值型数据：标准缩放：1、归一化2、标准化3、缺失值类别性数据：one-hot编码时间类型：时间的切分sklearn特征处理APIsklearn.preprocessing归一化特点：通过对原始数据进行变换把数据映射到(默认为
转载
2022-06-01 18:36:06
276阅读
