注意：1.本系列所有的文章主要是梯度提升树模型展开的，抽取的特征主要为帮助梯度提升树模型挖掘其挖掘不到的信息，本文介绍的所有特征都可以当做特征直接加入模型，和基于神经网络的策略有些许差别；2. 因篇幅过多
转载
2022-04-22 23:38:55
10000+阅读
向量空间模型文本可用 字、词组、短语、甚至‘概念’等元素表示 用来表示文本的性质，称为文本的特征区别文本的属性 特征选择就是要选择最能表征文本含义的词组元素方法：文档频率信息增益卡方检验互信息文档频率（DF）某一词组出现在文档中的频率称为文档频率（DF）DF=出现词组的文本数/数据集文本总数过程：设定文档频率DF的上界阈值和下届阈值；统计训练数据集中词组的文档频
转载
2024-06-17 22:57:27
36阅读
文本特征-下篇针对梯度提升树模型对文本特征进行特征工程，我们需要充分挖掘Label编码丢失的信息，例如上面的名字特征，内部存在非常强的规律，Mr等信息，这些信息反映了性别相关的信息，如果直接进行Label编码就会丢失此类信息，所以我们可以通过文本技巧对其进行挖掘。在本文中
转载
2022-04-24 22:12:24
10000+阅读
0.导语特征工程到底是什么呢？顾名思义，其本质
原创
2022-11-14 16:29:07
350阅读
0.导语特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。在此之前，我已经写了以下几篇AI基础的快速入门，本篇文章讲解特征工程基础第三部分：（文本特征处理）。目前已经发布：AI基础：Python简易入门AI基础：Numpy简易入门AI基础：Pandas简易入门AI基础：Scipy(科学计算库)简易入门AI基础：数据可视化简易入门（matp
原创
2020-12-26 11:10:49
1540阅读
1、数据集mysql 性能瓶颈，读取速度pandas 读取工具numpy释放GILcpython 协程sklearn2、数据集结构特征值 + 目标值3、机器学习重复值 不需要进行去重缺失值 特殊处理4、特征工程定义将原始数据转换为更好代表预测模型的潜在问题的特征的过程，从而提高对未知数据的预测准确性5、词汇classification 分类regression 回归...
原创
2022-03-01 10:59:31
205阅读
1、数据集mysql 性能瓶颈，读取速度pandas 读取工具numpy释放GILcpython 协程sklearn2、数据集结构特征值 + 目标值3、机器学习重复值 不需要进行去重缺失值 特殊处理4、特征工程定义将原始数据转换为更好代表预测模型的潜在问题的特征的过程，从而提高对未知数据的预测准确性5、词汇classification 分类regression 回归...
原创
2021-07-12 14:40:13
324阅读
近年来，国内的电信诈骗案件呈愈演愈烈之势，本文以某省电信公司简化版本的防诈骗模型为案例，利用python机器学习工具，使用随机森林算法，从数据处理、特征工程、到反诈骗模型的模型的构建及评估等完整流程进行一个简单的记录和介绍。流程图环境设置、模块加载 # coding: utf-8
import os
import numpy as np
import pandas as pd
from sklea
转载
2023-08-24 17:14:05
132阅读
//python对文件读写有多种方式和类型，有文本文件、二进制文件、excel文件、word文件、json、csv、HTML文本、数据库等等，以上未严格分类，只是根据平时遇到的或按类库操作来区分。本篇只是讨论文本文件操作。 文件操作相关函数及用法说明： open(file_path，mode=’r’,buffering=-1,encoding=None,errors=None,newline=
转载
2024-07-10 13:14:33
8阅读
在机器学习中，特征属性的选择通常关系到训练结果的可靠性，一个好的特征属性通常能起到满意的分类效果。凡是特征选择，总是在将特征的重要程度量化后再进行选择，而如何量化特征的重要性，就成了各种方法间最大的不同。接下来就介绍如何有效地进行文本的特征属性选择。文本分类作为一种有效的信息检索和信息过滤的关键技术，能按预定义的类别将待分类的文本进行归类。文本分类中常用到向量空间模型（VSM），然而高维的向量空间
机器学习-特征工程和文本特征提取数据集scikit-learn ：数据量小，方便学习ka
原创
2022-12-21 11:37:25
169阅读
机器学习python入门之特征工程Baseline model加载数据Load the data准备目标列Prepare the target column转换时间戳Convert timestampsPrep categorical variablesCreate training, validation, and test splitsTrain a modelMake prediction
转载
2023-08-10 18:12:38
221阅读
文章目录1、数据集1.1 可用数据集1.2 scikit-learn数据集sklearn小数据集sklearn大数据集1.3 数据集的划分数据集划分API2.特征工程2.1特征工程包含内容3.特征提取3.1字典特征提取3.2 文本特征提取3.3中文文本特征提取3.4 Tf-idf文本特征提取公式4.特征预处理4.1 归一化4.2 标准化5. 特征降维5.1 特征选择5.1.1 低方差特征过滤5.
转载
2023-10-30 22:47:35
80阅读
特征工程是数据科学和机器学习中的重要技巧，对机器模型性能和EDA（exploratory data analysis）的质量有重要影响。本文介绍几种特征工程技巧 目录什么是特征工程数据集缺失值处理类别特征缺失值处理方法数值特征缺失值处理使用模型填充缺失值类别特征处理类别特征类型独特编码哈希编码数值/连续特征的处理使用领域知识构造特征多项式（交叉）特征特征标准化日期特征处理地理位置特征处理 什么是特
转载
2023-10-21 10:50:16
85阅读
利用Python进行常见的特征工程上期说到数据分析师一般对业务数据提取的时候就会进行数据清洗，也会做一些业务逻辑或者数据逻辑上的特征处理。但由于特征工程是数据建模重要的一环，所以这里就做一个简单的总结。希望能给大家带来一些小小地帮助～首先给到一个特征工程概览图（如下）：单特征操作数据变换离散变量-哑编码import pandas as pd
# 构造数据
df = pd.DataFrame({'
转载
2023-08-10 22:13:17
336阅读
OX00 引言数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以说特征工程是机器学习成功的关键。特征做不好，调参调到老。重视调参，少走弯路！特征工程又包含了Data PreProcessing（数据预处理）、Feature Extraction（特征提取）、Feature Selection（特征选择）和Feat
在数据的预处理中经常会遇到特征工程，这里做一下笔记。数据的拼接特征工程最好针对所有数据，也就是训练集和测试集都要进行特征工程的处理，因此第一步可以是将两个数据集拼接，注意要处理好index的关系。
可以使用pandas的concat函数，如all_data=pd.concat((train,test)).reset_index(drop=True)#如果没有reset_index()，那么两个数据
转载
2024-01-16 01:33:53
231阅读
机器学习越来越多地从手动设计模型转变为使用H20，TPOT和auto-sklearn等工具来自动优化的渠道。这些库以及随机搜索等方法旨在通过查找数据集的最优模型来简化模型选择和转变机器学习的部分，几乎不需要人工干预。然而，特征工程几乎完全是人工，这无疑是机器学习管道中更有价值的方面。特征工程也称为特征创建，是从现有数据构建新特征以训练机器学习模型的过程。这个步骤可能比实际应用的模型更重要，因为机器
觉得有帮助请点赞关注收藏~~~特征工程特征工程的目标是从实例的原始数据中提取出供模型训练的合适特征。在掌握了机器学习的算法之后，特征工程就是最具创造性的活动了。 特征的提取与问题的领域知识密切相关一般来说，进行特征工程，要先从总体上理解数据，必要时可通过可视化来帮助理解，然后运用领域知识进行分析和联想，处理数据提取出特征。并不是所有提取出来的特征都会对模型预测有正面帮助，还需要通过预测结果来对比分
转载
2023-09-30 19:55:21
193阅读
本篇将继续上一篇数据分析之后进行数据挖掘建模预测，这两部分构成了一个简单的完整项目。结合两篇文章通过数据分析和挖掘的方法可以达到二手房屋价格预测的效果。 下面从特征工程开始讲述。二、特征工程 特征工程包括的内容很多，有特征清洗，预处理，监控等，而预处理根据单一特征或多特征又分很多种方法，如归一化，降维，特征选择，特征筛选等等。这么多的方法，为的是什么呢？其目的是让这些特征更友好的作为模型
转载
2024-05-18 08:47:33
49阅读
