---脚本语言(scripting language)
---高级动态编程语言
简单易学
Python是一种代表简单主义思想的语言。Python的这种伪代码本质是它最大的优点之一。它使你能够专注于解决问题而不是去搞明白语言本身。Python有极其简单的语法，极易上手。
解释性&编译性
-Python语言写的程序不需要编译成二进制代码。可以直接从源代码运行程序，但
转载
2023-08-12 22:35:14
96阅读
完成数据清理后，下面通过图表展开对数据的分析。1.前期初判(分布分析)： 1）判断分组区间:# a.散点图：
plt.scatter(data[字段1],data['字段2'],
s = data[字段3], # 显示大小
c = data[字段4], # 显示颜色
alpha = 0.4, cmap = 'Reds')
# b.直方图：
data[字段].hist(bins=10) 2）求出
转载
2023-08-11 17:09:57
94阅读
首先说一下为什么要做特征工程？总的来说机器学习算法就是用输入的数据来推算输出的数据。输入的数据包含以下特征，这些特征是以行列矩阵的列来表示，算法需要具有特定形式的特征作为输入才能更好地发挥作用，模型的表现才能达到最佳，所以我们要对输入的特征进行一些列的操作，这个过程就是特征工程。在这篇文章里我利用Python把主要的特征工程技术通过全代码的形式，给大家做一个分享。首先是缺失值的处理1、删除缺失值缺
转载
2023-08-29 06:40:03
120阅读
离散特征编码分两种，特征具有大小意义，特征不具有大小意义。1、特征不具备大小意义的直接独热编码2、特征有大小意义的采用映射编码1. import pandas as pd
2. df = pd.DataFrame([
3. 'green', 'M', 10.1, 'label1'],
4. 'red', 'L', 13.5, 'label2'],
5. 'blue
转载
2023-06-26 14:15:42
61阅读
本篇将继续上一篇数据分析之后进行数据挖掘建模预测，这两部分构成了一个简单的完整项目。结合两篇文章通过数据分析和挖掘的方法可以达到二手房屋价格预测的效果。 下面从特征工程开始讲述。二、特征工程 特征工程包括的内容很多，有特征清洗，预处理，监控等，而预处理根据单一特征或多特征又分很多种方法，如归一化，降维，特征选择，特征筛选等等。这么多的方法，为的是什么呢？其目的是让这些特征更友好的作为模型
转载
2024-05-18 08:47:33
49阅读
最近几天了解了一下人脸识别，应用场景可以是图片标注，商品图和广告图中有没有模特，有几个模特，模特的性别，年龄，颜值，表情等数据的挖掘。基础的识别用dlib来实现，dlib是一个机器学习的包，主要用C++写的，但是也有Python版本。其中最流行的一个功能是Facial Landmark Detection, 配备已经训练好的轮廓预测模型，叫shape_predictor_68_face_landm
转载
2024-07-10 17:30:10
24阅读
总体来说，良好的数据特征组合不需太多，便可以使得模型的性能表现突出。比如我们在“良/恶性乳腺癌肿瘤预测“问题中，仅仅使用两个描述肿瘤形态的特征便取得较高的识别率。冗余的特征虽然不会影响模型性能，但会浪费cpu的计算。主成分分析主要用于去除多余的那些线性相关的特征组合，这些冗余的特征组合并不会对模型训练有更多贡献。特征筛选与PCA这类通过选择主成分对特征进行重建的方法略有区别：对于PCA而言，我们经
转载
2023-08-30 22:37:24
124阅读
原作 Prateek Joshi王小新 任何参与过机器学习比赛的人，都能深深体会特征工程在构建机器学习模型中的重要性，它决定了你在比赛排行榜中的位置。特征工程具有强大的潜力，但是手动操作是个缓慢且艰巨的过程。Prateek Joshi，是一名数据科学家，花了不少时间研究多种特征，并从不同角度分析其可行性。现在，整个特征工程过程可实现自动化，他将通过这篇文章进行详细介绍。下面会使用Python特征工
转载
2023-07-11 15:11:52
160阅读
在本文中，我们将回顾特性选择技术并回答为什么它很重要以及如何使用python实现它。本文还可以帮助你解答以下的面试问题:什么是特征选择?说出特性选择的一些好处你知道哪些特征选择技巧?区分单变量、双变量和多变量分析。我们能用PCA来进行特征选择吗?前向特征选择和后向特征选择的区别是什么? 什么是特征选择，为何重要特性选择是选择与ML模型更加一致、非冗余和更相关的基本特性的过程。在ML项目中
转载
2023-08-27 09:54:14
148阅读
近年来，国内的电信诈骗案件呈愈演愈烈之势，本文以某省电信公司简化版本的防诈骗模型为案例，利用python机器学习工具，使用随机森林算法，从数据处理、特征工程、到反诈骗模型的模型的构建及评估等完整流程进行一个简单的记录和介绍。流程图环境设置、模块加载 # coding: utf-8
import os
import numpy as np
import pandas as pd
from sklea
转载
2023-08-24 17:14:05
132阅读
一、引入FM在传统的线性模型如LR中，每个特征都是独立的，如果需要考虑特征与特征直接的交互作用，可能需要人工对特征进行交叉组合；非线性SVM可以对特征进行kernel映射，但是在特征高度稀疏的情况下，并不能很好地进行学习。因子分解机(FactorizationMachine,FM)是由SteffenRendle在2010年提出的一种基于矩阵分解的机器学习算法。算法的核心在于特征组合，以此来减少人工
转载
2024-08-04 10:06:03
59阅读
数据处理的一种方式，和前面的原始数据不一样的是，我们在原始数据的基础上面，通过提取有效特征，来预测目标值。而想要更好的去得出结果，包括前面使用的数据处理中数据特征提取，新增减少等手段都是特征功能的一种，这里为什么要单独提出来讲特征工程，而不是数据处理呢？ 二、数据处理的方式有很多种方式，合并等。这里讲特征工程主要是讲转换器，为啥这样说呢，因为我们在使用数据的时候，比如：文本，那我们通过文本的方式
转载
2023-07-25 17:38:43
95阅读
导读从事机器学习相关岗位的同学都知道这样一句话：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限。在数据确定的情况下，那么特征工程就成了唯一可供发挥的关键步骤。广义来讲，特征工程包括特征提取、特征衍生以及特征选择等等，今天本文就来分享Python中的一个特征工程相关的库——featuretools，可自动化快速实现特征提取和特征衍生的工作，对加速机器学习建模和保证特征工程效果都非常有帮
转载
2024-04-17 17:24:26
59阅读
任何参与过机器学习比赛的人，都能深深体会特征工程在构建机器学习模型中的重要性，它决定了你在比赛排行榜中的位置。特征工程具有强大的潜力，但是手动操作是个缓慢且艰巨的过程。Prateek Joshi，是一名数据科学家，花了不少时间研究多种特征，并从不同角度分析其可行性。现在，整个特征工程过程可实现自动化，他将通过这篇文章进行详细介绍。下面会使用Python特征工程库Featuretools来实现这个任
Python特征Python编程语言中的脚本语言高阶动态编程语言简单易学Python是一种代表简单主义思想的语言。Python的这种伪代码本质是它最大的优点之一。它使你能够专注于解决问题而不是去搞明白语言本身。Python有极其简单的语法，极易上手。解释性&编译性Python语言写的程序不需要编译成二进制代码。可以直接从源代码运行程序，但是需要解释器。这点类似于Java，或是Matla
转载
2023-06-29 15:00:55
65阅读
0 综述0.1 数据特征选择的重要性 减少过度拟合：减少冗余数据意味着根据噪声做出决策的机会减少。 提高准确度：减少误导性数据意味着提高建模精度。 缩短训练时间：减少数据意味着算法训练更快。0.2 特征选择的一般过程在验证数据集上验证选出来的特征子集的有效性。 图1. 特征选择的过程 ( M. Dash and H. Liu 1997 ) 1、去掉取值变化小
转载
2023-10-13 20:28:57
84阅读
创造新的特征是一件十分困难的事情，需要丰富的专业知识和大量的时间。机器学习应用的本质基本上就是特征工程。——Andrew Ng业内常说数据决定了模型效果上限，而机器学习算法是通过数据特征做出预测的，好的特征可以显著地提升模型效果。这意味着通过特征生成（即从数据设计加工出模型可用特征），是特征工程相当关键的一步。本文从特征生成作用、特征生成的方法（人工设计、自动化特征生成）展开阐述并附上代码。1 特
转载
2024-06-19 10:44:02
30阅读
毫无疑问，解决一个问题最重要的是恰当选取特征、甚至创造特征的能力，这叫做特征选取和特征工程。对于特征选取工作，我个人认为分为两个方面： 1）利用python中已有的算法进行特征选取。2）人为分析各个变量特征与目标值之间的关系，包括利用图表等比较直观的手段方法，剔除无意义或者说不重要的特征变量，使得模型更加精炼高效。 一、scikit-learn中树算法 from sk
转载
2023-06-21 16:13:10
141阅读
“数据质量决定模型上限”，数据挖掘中 特征工程 就是为了提高数据质量而存在。特征工程包含3大块：数据预处理、特征选择和降维(特征压缩)。本文先来介绍数据预处理。数据挖掘的步骤(个人理解)一、数据预处理简介1)目的：让数据更加规整，更加适应模型的需求2)常见的数据问题：有缺失值，有重复记录，有异常，有噪声，量纲不一，同一字段数据类型不同等。二、数据预处理的方法1、缺失值处理：直接用pandas的fi
转载
2023-10-16 13:31:58
70阅读
文前提要特征工程概述特征选择的一般步骤特征工程的主要包含的内容框架特征选择的主要方法和python与R的比较实现目录1.特征工程概述2.特征工程知识框架3.特征工程的一般步骤4.特征选择的python与R实现比较4.1 导入数据4.2 数据预处理4.2.1 标准化4.2.2 区间放缩法4.2.3 归一化4.2.4 对定量特征二值化4.2.5 对定性特征哑编码4.2.6 缺失值填补4.2.7 数据变
转载
2023-10-05 14:58:56
69阅读
