文章目录常见的特征工程1、异常处理2、缺失值处理3、特征构造4、数据分桶5、数值型特征归一化/标准化6、类别特征encode7、特征筛选7.1 Filter方法（过滤式）7.2 Wrapper方法（封装式）7.3 Embedded方法（嵌入式）总结 数据和特征决定了机器学习的上限，而模型和算法只是在尽力逼近这个上限，因此特征工程是机器学习成功的关键。文章背景来自天池实验室的数据挖掘比赛 零基础
0、为什么写这篇博文 最近有很多刚入门AI领域的小伙伴问我：数据挖掘与机器学习之间的区别与联系。为了不每次都给他们长篇大论的解释，故此在网上整理了一些资料，整理成此篇文章，下次谁问我直接就给他发个链接就好了。 本篇文章主要阐述我个人在数据挖掘、机器学习等方面的学习心得，并搜集了网上的一些权威解释，或许不太全面，但应该会对绝大多数入门者有一个直观地解释。 本文主要参照周志华老师的：机器学习与数
转载
2024-09-10 19:57:57
44阅读
对于分类问题或预估问题来说，常常缺乏准确标注的案例。 例如： 欺诈侦测(FraudDetection)：在上百万的交易中，可能只有屈指可数的欺诈交易，还有很多的欺诈交易没有被正确标注出来，这就需要在建模前花费大量人力来修正。 信用评分(CreditScoring)：需要对潜在的高风险客户进行长期跟踪(比如两年)，从而积累足够的评分样本。太关注训练(FocusonTraining) IDMer：就
十，文献研读（后续完善编辑）论文名称：时空数据挖掘研究进展，刘大友 陈慧玲 齐红 杨博.研究对象对时空数据挖掘研究现状进行介绍。研究动机寻找有效时空数据挖掘方法。文献综述根据挖掘任务进行分类：时空模式发现，时空聚类，时空异常检测，时空预测和分类，时空推理与结合。围绕这些方面阐述时空数据挖掘领域最新进展。时空模式发现1，时空频繁模式：从时空序列（轨迹数据）发现频繁重复的路径，完成移动对象分析及预测。
转载
2024-01-31 09:53:13
142阅读
[toc] 《数据挖掘中的数据挖掘技术：数据挖掘中的数据挖掘技术未来研究》 一、引言 数据挖掘是人工智能领域的一个重要分支，其目的是从海量的数据中发现潜在的模式和规律，进而为企业和社会提供有价值的信息和洞察。数据挖掘技术是实现数据挖掘的关键手段，其涉及的概念和技术种类非常丰富。本文旨在探讨数据挖掘中
原创
2023-07-01 07:01:32
194阅读
数据挖掘和机器学习近年来被大多数人所听说，这两个词近年来因为大数据的听上去高大上的词汇，其实在我们的生活中到处存在，往往是计算机知识中融入了数学（统计方面的知识）。数据挖掘往往和机器学习一起出现在各种地方，要用到数据挖掘的地方必有机器学习，在数据量小的时候，他们可能不会有依赖关系，往往通过人工的处理，就会在小范围的数据量中找到有价值的信息，并做出判断或者预测，但是在现在的社会，大数据时代，每天产生
转载
2024-05-21 18:06:14
14阅读
在数字化时代，个人隐私和数据安全已经成为了一个非常重要的话题。随着互联网的普及和技术的发展，我们的个人信息和数据已经变得越来越容易被获取和利用。因此，保护个人隐私和数据安全已经成为了每个人都应该关注的问题。
以下是一些保护个人隐私和数据安全的方法：1. 使用强密码使用强密码是保护个人隐私和数据安全的基本方法。强密码应该包含字母、数字和符号，并且长度应该至少为8个字符。此外，不要使用相同
转载
2023-08-27 17:31:51
37阅读
随着地理信息系统（GIS）技术的不断发展，时空数据的采集和存储变得越来越容易，数据量也呈爆炸式增长。如何从海量的时空数据中提取有价值的信息，成为GIS领域的一个重要研究方向。时空数据挖掘技术应运而生，它结合了GIS、数据挖掘和统计分析等多学科的方法，旨在发现时空数据中的模式、趋势和关联。本文将详细介绍基于GIS的时空数据挖掘技术及其应用，帮助读者更好地理解和应用这一技术。一、时空数据挖掘的基本概念
关联基本定义关联规则：形如 X -> Y的蕴涵表达式，其中X和Y是不相交的项集。关联规则的强度可以用支持度和置信度度量支持度：确定规则可以用于给定数据集的频繁程度，用s表示 s=(x并y的长度)/数据集的长度置信度：确定Y在包含X的事物中出现的频繁程度。用c表示 c=(x并Y的长度)/(X的长度)例如 有购物蓝事物的例子 1{面包，牛奶}2{面包，尿布，啤酒，鸡蛋}3{牛奶，尿布，啤酒，可乐
转载
2024-06-08 23:52:10
72阅读
数据挖掘技术可分为描述型数据挖掘和预测型数据挖掘两种。描述型数据挖掘包括数据总结、聚类及关联分析等。预测型数据挖掘包括分类、回归及时间序列分析等。
1、数据总结：继承于数据分析中的统计分析。数据总结目的是对数据进行浓缩,给出它的紧凑描述。传统统计方法如求和值、平均值、方差值等都是有效方法。另外还可以用直方图、饼状图等图形方式表示这些值。广义上讲，多维
转载
2023-09-18 15:53:10
29阅读
利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等， 它们分别从不同的角度对数据进行挖掘。 ① 分类。分类是找出数据库中一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到某个给定的类别。（分类算法一般有：决策树、bayes分类、神经网络、支持向量机
转载
2023-09-25 21:39:42
115阅读
文章目录Python数据挖掘框架项目背景与分析数据读入与检查数据预处理数据校正缺失值填充均值填充填充固定值0值填充众数填充中位数填充中位数或均值+随机标准差填充上下条的数据插值填充填充KNN数据填充模型预测的值数据创建数据转换最大最小标准化（max-min标准化）z-score变换对数变换box-cox变换数据清洗缺失值异常值无关值噪音重复值数据集成数据规约维归约属性子集选择启发式的（探索性的）
转载
2023-09-11 17:21:22
167阅读
数据挖掘通过预测未来趋势及行为，做出前摄的、基于知识的决策。数据挖掘的目标是从数据库中发现隐含的、有意义的知识，主要有以下五类功能。 1、自动预测趋势和行为 数据挖掘自动在大型数据库中寻找预测性信息，以往需要进行大量手工分析的问题如今可以迅速直接由数据本身得出结论。一个典型的例子是市场预测问题，数据挖掘使用过去有关促销的数据来寻找未来投资中回报最大的用户，其它可预测的问题包括预报破产以
转载
2023-08-08 09:24:44
79阅读
数据挖掘的概念首先来看一下什么是数据挖掘？数据挖掘(Data mining)是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘旨在利用机器学习等智能数据分析技术，发掘数据对象蕴含的知识与规律，为任务决策提供有效支撑。数据挖掘是建立新一代人工智能关键共性技术体系的基础支撑。在大数据时代背景下，数据挖掘技术已广泛应用于金融、医疗、教育、交通、媒体等领域。然而，随着人工智能、移动互联网、云计算
转载
2023-08-06 12:03:34
169阅读
社会的发展进入了网络信息时代,各种形式的数据海量产生,在这些数据的背后隐藏着许多重要的信息,如何从这些数据中找出某种规律,发现有用信息,越来越受到关注。为了适应信息处理新需求和社会发展各方面的迫切需要而发展起来一种新的信息分析技术,这种技术称为数据挖掘。数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道
转载
2023-10-09 22:06:10
16阅读
1.Chapter1 引论：(1) OLTP 和 OLAP 概念:OLTP(on-line transaction processing) 联机事物处理，就是我们常常说的关系数据库的主要应用，主要是主要的、日常的事务处理，比如银行交易。比如：mysqlOLAP(on-line analytical ...
转载
2015-02-09 17:49:00
146阅读
2评论
理论绪论数据挖掘 （数据中的知识发现，KDD）：发现隐藏在大型数据集中的模式（有趣的模式，即知识）数据挖掘步骤（有时还包括数据归约：得到原始数据的较小表示，而不牺牲完整性）数据库（管理）系统：数据（库）+软件程序数据仓库：从多个数据源收集的信息存储库，存放在一致的模式下，并通常驻留在单个站点。/从结构角度看，有三种数据仓库模型：企业仓库、数据集市和虚拟仓库。/数据仓库通常采用三层体系结构：底层是数
转载
2023-07-12 23:03:56
136阅读
1. 数据挖掘需要哪些基本的技术统计学知识和技术（Statistical Techniques）可视化的画图展示技术（Visualization Tchniques）：比如可以利用相关软件来画出柱状图、散点图等等一些常用的数据挖掘技术. KNN K紧邻算法常用数据挖掘建模技术2.常用数据挖掘模型 （1）描述性数据挖掘（无监督学习） Descriptive Dat
转载
2023-07-05 09:34:18
45阅读
在大数据的相关岗位当中，大数据挖掘在这两年可以说是得到了极大的重视，数据挖掘岗位的薪资也可以说是高出同等级其他岗位不少，很多人因此将大数据挖掘作为一个转行的选择。今天我们从大数据挖掘应用培训的角度，来分享一下大数据挖掘原理及技术解析。大数据挖掘，需要大数据技术框架的支持，早期的Hadoop MapReduce框架，是解决大数据挖掘问题的第一代框架，而随着数据处理需求的变化，紧随其后又出现了很多的
转载
2023-07-19 14:23:54
218阅读
大数据之所以受到人们的关注和谈论。是由于隐藏在大数据后面超千亿美元的市场机会。 大数据时代，数据挖掘是最关键的工作。下面内容供个人学习用，感兴趣的朋友能够看一下。 智库百科是这样描写叙述数据挖掘的“数据挖掘又称数据库中的知识发现，是眼下人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平庸过程。数据挖掘是一种决策支持过程。它
转载
2023-09-04 21:20:56
116阅读
