文章目录1、数据集1.1 可用数据集1.2 scikit-learn数据集sklearn小数据集sklearn大数据集1.3 数据集的划分数据集划分API2.特征工程2.1特征工程包含内容3.特征提取3.1字典特征提取3.2 文本特征提取3.3中文文本特征提取3.4 Tf-idf文本特征提取公式4.特征预处理4.1 归一化4.2 标准化5. 特征降维5.1 特征选择5.1.1 低方差特征过滤5.
转载
2023-10-30 22:47:35
80阅读
前文传送门：本章从商业数据分析和挖掘的角度详细地介绍了特征工程及其使用的响应方法：数据预处理、特征构造、特征抽取以及特征选择。系统性地说明了用于构建分析用的结构化数据的过程。5.1 特征工程概述在商业数据的分析挖掘当中，最常用的数据是结构化数据，其呈现为二维表的结构，数据可以用装载到二维数组当中，其中的每个数可以使用行与列进行索引。结构化数据中的每一行称为记录，也可称为样本或实例（视不同的学科而定
原创
2024-01-08 17:18:23
2182阅读
人工智能的发展，让我们将那些需要手动操作才能处理的问题，让计算机也可以解决。例如，自然语言处理、人脸识别和图片分类等。因此，我们需要借助机器学习的知识来构建一个AI系统，从用户那里读取到原始数据，让计算机来帮助我们达到识别的目的。为了解决某个问题，需要收集大量的数据，这些数据都是在实际的情况中自然形成的
转载
2024-02-04 09:51:18
49阅读
在特征/列上执行的任何能够帮助我们根据数据进行预测的操作都可以称为特征工程。这将包括以下内容:添加新功能去掉一些讲述同样
原创
2024-05-20 11:06:20
12阅读
---脚本语言(scripting language)
---高级动态编程语言
简单易学
Python是一种代表简单主义思想的语言。Python的这种伪代码本质是它最大的优点之一。它使你能够专注于解决问题而不是去搞明白语言本身。Python有极其简单的语法，极易上手。
解释性&编译性
-Python语言写的程序不需要编译成二进制代码。可以直接从源代码运行程序，但
转载
2023-08-12 22:35:14
96阅读
完成数据清理后，下面通过图表展开对数据的分析。1.前期初判(分布分析)： 1）判断分组区间:# a.散点图：
plt.scatter(data[字段1],data['字段2'],
s = data[字段3], # 显示大小
c = data[字段4], # 显示颜色
alpha = 0.4, cmap = 'Reds')
# b.直方图：
data[字段].hist(bins=10) 2）求出
转载
2023-08-11 17:09:57
94阅读
“本文业务角度分享了风控业务中构建关系特征的一些实践经验，包括数据源分析，关系网络和特征辑...
转载
2022-08-15 10:58:39
126阅读
本文业务角度分享了风控业务中构建关系特征的一些实践经验，包括数据源分析，关系网络和特征的构建，特征性能的评估以及线上方案的落实。
转载
2022-10-19 13:54:54
56阅读
本篇将继续上一篇数据分析之后进行数据挖掘建模预测，这两部分构成了一个简单的完整项目。结合两篇文章通过数据分析和挖掘的方法可以达到二手房屋价格预测的效果。 下面从特征工程开始讲述。二、特征工程 特征工程包括的内容很多，有特征清洗，预处理，监控等，而预处理根据单一特征或多特征又分很多种方法，如归一化，降维，特征选择，特征筛选等等。这么多的方法，为的是什么呢？其目的是让这些特征更友好的作为模型
转载
2024-05-18 08:47:33
49阅读
最近几天了解了一下人脸识别，应用场景可以是图片标注，商品图和广告图中有没有模特，有几个模特，模特的性别，年龄，颜值，表情等数据的挖掘。基础的识别用dlib来实现，dlib是一个机器学习的包，主要用C++写的，但是也有Python版本。其中最流行的一个功能是Facial Landmark Detection, 配备已经训练好的轮廓预测模型，叫shape_predictor_68_face_landm
转载
2024-07-10 17:30:10
24阅读
首先说一下为什么要做特征工程？总的来说机器学习算法就是用输入的数据来推算输出的数据。输入的数据包含以下特征，这些特征是以行列矩阵的列来表示，算法需要具有特定形式的特征作为输入才能更好地发挥作用，模型的表现才能达到最佳，所以我们要对输入的特征进行一些列的操作，这个过程就是特征工程。在这篇文章里我利用Python把主要的特征工程技术通过全代码的形式，给大家做一个分享。首先是缺失值的处理1、删除缺失值缺
转载
2023-08-29 06:40:03
120阅读
离散特征编码分两种，特征具有大小意义，特征不具有大小意义。1、特征不具备大小意义的直接独热编码2、特征有大小意义的采用映射编码1. import pandas as pd
2. df = pd.DataFrame([
3. 'green', 'M', 10.1, 'label1'],
4. 'red', 'L', 13.5, 'label2'],
5. 'blue
转载
2023-06-26 14:15:42
61阅读
总体来说，良好的数据特征组合不需太多，便可以使得模型的性能表现突出。比如我们在“良/恶性乳腺癌肿瘤预测“问题中，仅仅使用两个描述肿瘤形态的特征便取得较高的识别率。冗余的特征虽然不会影响模型性能，但会浪费cpu的计算。主成分分析主要用于去除多余的那些线性相关的特征组合，这些冗余的特征组合并不会对模型训练有更多贡献。特征筛选与PCA这类通过选择主成分对特征进行重建的方法略有区别：对于PCA而言，我们经
转载
2023-08-30 22:37:24
124阅读
原作 Prateek Joshi王小新 任何参与过机器学习比赛的人，都能深深体会特征工程在构建机器学习模型中的重要性，它决定了你在比赛排行榜中的位置。特征工程具有强大的潜力，但是手动操作是个缓慢且艰巨的过程。Prateek Joshi，是一名数据科学家，花了不少时间研究多种特征，并从不同角度分析其可行性。现在，整个特征工程过程可实现自动化，他将通过这篇文章进行详细介绍。下面会使用Python特征工
转载
2023-07-11 15:11:52
160阅读
在本文中，我们将回顾特性选择技术并回答为什么它很重要以及如何使用python实现它。本文还可以帮助你解答以下的面试问题:什么是特征选择?说出特性选择的一些好处你知道哪些特征选择技巧?区分单变量、双变量和多变量分析。我们能用PCA来进行特征选择吗?前向特征选择和后向特征选择的区别是什么? 什么是特征选择，为何重要特性选择是选择与ML模型更加一致、非冗余和更相关的基本特性的过程。在ML项目中
转载
2023-08-27 09:54:14
148阅读
目录 一、特征理解1、定类数据2、定序数据3、定距数据4、定比数据二、清洗数据1、识别缺失值（1）删除缺失值的行（2）填充缺失值（医学类数据禁用，因为要求真实）2、标准化、归一化三、特征构建1、定类特征的填充2、定量特征的填充3、定类特征的编码4、定序特征的编码5、连续值分箱6、扩展数值特征之多项式拟合7、文本的特征构建四、特征选择（减少坏属性） 1、基于统计的特征的选择（1）
转载
2024-02-10 21:05:06
187阅读
近年来，国内的电信诈骗案件呈愈演愈烈之势，本文以某省电信公司简化版本的防诈骗模型为案例，利用python机器学习工具，使用随机森林算法，从数据处理、特征工程、到反诈骗模型的模型的构建及评估等完整流程进行一个简单的记录和介绍。流程图环境设置、模块加载 # coding: utf-8
import os
import numpy as np
import pandas as pd
from sklea
转载
2023-08-24 17:14:05
132阅读
Python特征Python编程语言中的脚本语言高阶动态编程语言简单易学Python是一种代表简单主义思想的语言。Python的这种伪代码本质是它最大的优点之一。它使你能够专注于解决问题而不是去搞明白语言本身。Python有极其简单的语法，极易上手。解释性&编译性Python语言写的程序不需要编译成二进制代码。可以直接从源代码运行程序，但是需要解释器。这点类似于Java，或是Matla
转载
2023-06-29 15:00:55
65阅读
数据处理的一种方式，和前面的原始数据不一样的是，我们在原始数据的基础上面，通过提取有效特征，来预测目标值。而想要更好的去得出结果，包括前面使用的数据处理中数据特征提取，新增减少等手段都是特征功能的一种，这里为什么要单独提出来讲特征工程，而不是数据处理呢？ 二、数据处理的方式有很多种方式，合并等。这里讲特征工程主要是讲转换器，为啥这样说呢，因为我们在使用数据的时候，比如：文本，那我们通过文本的方式
转载
2023-07-25 17:38:43
95阅读
