2.1 数据挖掘概念 数据挖掘（Data Mining）是知识发现（KDD）的核心部分，它指的是从数据集合众自动抽取隐藏在数据中的那些有用信息的非平凡过程，这些信息的表现形式为规则、概念、规律及模式等。总体来说，数据挖掘融合了数据库、人工智能、机器学习、统计学、高性能计算、模式识别、神经网络、数据可视化
转载
2023-08-31 18:53:07
669阅读
很多人一听到数据建模，就觉得高不可攀，觉得是很高深难以理解的东西，其实简单来说，数据建模就是搞清楚每个表都有哪些字段、表之间有什么联系，然后根据需要添加字段或度量值、建立关系的过程。字段值、字段类型、表、表之间的关系，都是数据模型的一部分，在Smartbi中，建立的度量值同样是模型的一部分。数据建模不难理解，也并不代表数据建模就很简单，当表比较少并且结构简单的时候，数据建模确实不难，但当表的数据达
转载
2023-08-21 10:17:49
42阅读
0 前言本人计算机研在读，专业带队数学建模，长期更新建模教学，有需要的同学欢迎讨论～ 本篇文章，本系列学长讲解一部分数学建模常用算法，会陆续更新每个算法的详细实现和使用教程1 算法介绍频繁子图挖掘是数据挖掘中一个非常广泛的应用。频繁子图挖掘是指从大量的图中挖掘出满足给定支持度的频繁子图，同时算法需要保证这些频繁图不能重复。频繁模式挖掘主要就是应用两种策略（这里不讨论基于垂直增长的方法）——Apri
转载
2024-01-11 21:13:51
104阅读
本文不对数据挖掘的具体数学知识做全面的总结，根据网路上前辈的理解，对其需要的数学方面的知识做一个一般性的总结。引言数据挖掘，是指从大量数据中获取隐含的、潜在的是有价值信息的过程，是近年来计算机领域火热的研究内容。数据挖掘方法在游戏工业领域最初的应用，常常是游戏中的人工智能的开发。例如游戏中的电脑对手，对战类游戏的天梯系统，游戏开发时的关卡自动生成器。这些功能对应着数据挖掘方法中的专家系
转载
2023-06-06 21:44:12
240阅读
框架设定基本原则。构建框架也伴随着假设、方法以及选项--选择一些，舍弃另外一些，每一个问题都必须被架构，每一个模型都必须在一个框架内建立。有一些问题是在构建框架时需要单独考虑的，比如风险。评估并为风险建模是构成许多模型所必需的一部分。当构建框架时，问题提出者和问题相关者产生了一些关于特定风险的想法。任何模型都必须将这些纳入框架中--虽然之后模型可能会暴露另一些同样甚至更加重要的风险。为风险建模--
转载
2023-06-07 14:29:19
125阅读
文章目录数据预处理任务数据集成数据变换数据清洗数据规约主要处理函数 数据预处理任务数据清洗：去掉数据中的噪声，纠正不一致数据集成：将多个数据源合并成一致的数据存储，构成一个完整的数据集，如数据仓库数据规约（删减）：通过聚集、删除冗余属性或聚类等方法来压缩数据数据变换：数据集的规范化数据集成数据挖掘需要的数据往往分布在不同的数据源中，数据集成就是将多个数据源合并存放在一个一致的数据存储（如数据仓库
转载
2024-05-15 10:58:47
120阅读
什么是数据挖掘数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。听起来比较抽象，我们举个例子。傍晚小街路面上沁出微雨后的湿润，和煦的细风吹来，抬头看看天边的晚霞，嗯，明天又是一个好天气。走到水果摊旁，挑了个根蒂蜷缩、敲起来声音浊响的青绿西瓜，心里期待着享受这个好瓜。由路面微湿、微风、晚霞得出明天是个好天气。
数据挖掘实战章节1 课时2定义Data mining, DM大量的数据中，通过统计学、人工智能、机器学习等方法挖掘出未知的、且有价值的信息和知识的过程。案例：啤酒与尿布可视化算法数据库机器学习统计学市场营销其他学科数据挖掘工程师往往是熟悉和理解业务的人数据挖掘 VS 数据分析分析重统计，挖掘偏预测分析[现状、原因、预测]挖掘[分类、聚类、关联、预测]分析[对比、分组、交叉、回归]挖掘[决策树、
转载
2023-08-17 16:14:57
122阅读
数据在当今世界意味着金钱，随着向基于App的世界的过渡，数据呈指数增长。今天给大家介绍6个开源数据挖掘工具，有需要的朋友可以自取，有更好用的工具也欢迎交流。1、DataMeltDataMelt或DMelt是数据分析和数据可视化的开源软件，可用于数值计算、数学、统计、符号计算等。该平台是Python、Ruby、Groovy等各种脚本语言的组合，还有其他Java软件包。它能够制作高质量的矢量
转载
2023-06-06 21:39:13
231阅读
1.1 数据挖掘的定义本质概念:用最强大的硬件、最强大的编程系统和最高效的算法’来解决科学、商业、医疗健康、政府、人文以及众多人类努力探索的其他领域中的问题。1.1.1 建模对很多人而言’数据挖掘是从数据构建模型的过程’而该过程通常利用机器学习来实现。但是更一般地来说数据挖掘的目标是算法。当然，在很多重要的应用中，建模是难点所在。—旦模型建好,那么使用该模型的算法就直截了当了。1.1.2 统计建模
转载
2023-08-11 14:30:39
114阅读
本节书摘来自华章出版社《Python数据分析与挖掘实战》一书中的第1章，第1.4节，作者 张良均 王路 谭立云 苏剑林，更多章节内容可以访问云栖社区“华章计算机”公众号查看1.4 数据挖掘建模过程从本节开始，将以餐饮行业的数据挖掘应用为例来详细介绍数据挖掘的建模过程，如图1-1所示。1.4.1 定义挖掘目标针对具体的数据挖掘应用需求，首先要明确本次的挖掘目标是什么？系统完成后能达到什么样的效果？因
转载
2023-12-02 22:26:38
81阅读
挖掘建模根据挖掘目标和数据形式可建立：分类与预测、聚类分析、关联规则、时序模式、偏差检测等模型1.分类与预测分类与预测是预测问题的两种主要类型，分类主要是：预测分类标号（离散属性）；预测主要是：建立连续值函数模型，预测给定自变量对应的因变量的值。1.1 实现过程（1）分类 分类是构造一个分类模型，输入样本属性值，输出对应类别，将每个样本映射到预先定义好的类别。 分类模型，建立在已有类标记的数据
转载
2023-06-07 15:19:06
468阅读
数据挖掘任务分为：模式挖掘、描述建模、预测建模。上面有一篇文章讲的是Apriori算法，用于数据挖掘的第一个任务模式挖掘。本文介绍数据挖掘在预测建模上的应用。预测建模是指根据现有数据先建立一个模型，然后应用这个模型来对未来的数据进行预测。1、概念1.1 Classification和PredictionClassification主要用于对离散的数据进行预测，分为两步：首先根据训练集，构照分类模型
转载
2023-08-11 16:42:50
120阅读
第1课 数据科学与数学基础知识点1：数据挖掘基础，微积分、概率论、线性代数基础实战项目：用numpy进行矩阵运算第2课 数据处理/分析/可视化知识点1：数据获取、数据格式、数据内容处理与分析、数据的可视化实战项目：用python解析和清洗数据，pandas统计与分析数据，matplotlib和seaborn等做可视化第3课 海量数据的分布式处理知识点1：hadoop，Spark介绍，Map Red
转载
2023-12-01 10:11:03
86阅读
泰迪智能科技（数据挖掘平台：TipDM数据挖掘平台）最新推出的数据挖掘实战专栏专栏将数据挖掘理论与项目案例实践相结合，可以让大家获得真实的数据挖掘学习与实践环境，更快、更好的学习数据挖掘知识与积累职业经验专栏中每四篇文章为一个完整的数据挖掘案例。案例介绍顺序为：先由数据案例背景提出挖掘目标，再阐述分析方法与过程，最后完成模型构建，在介绍建模过程中同时穿插操作训练，把相关的知识点嵌入相应的操作过程中
转载
2023-08-14 16:57:03
134阅读
我们在上一篇文章中给大家介绍了数据挖掘和数据分析的区别，主要就是数据挖掘在统计分析形成了比较明显的差异。在这种明显的差异中我们能够分清楚数据分析以及数据挖掘的区别，我们在这篇文章中给大家介绍更多的知识。在上一篇文章中我们给大家介绍了数据挖掘的特点，就是数据挖掘可以使用在海量的数据中，所以相对于海量、杂乱的数据，数据挖掘技术有明显的应用优势。而统计分析在预测中的应用常表现为一个或
转载
2023-11-02 22:48:05
122阅读
泰迪智能科技（数据挖掘平台：TipDM数据挖掘平台）最新推出的数据挖掘实战专栏专栏将数据挖掘理论与项目案例实践相结合，可以让大家获得真实的数据挖掘学习与实践环境，更快、更好的学习数据挖掘知识与积累职业经验专栏中每四篇文章为一个完整的数据挖掘案例。案例介绍顺序为：先由数据案例背景提出挖掘目标，再阐述分析方法与过程，最后完成模型构建，在介绍建模过程中同时穿插操作训练，把相关的知识点嵌入相应的操作过程中
转载
2024-03-14 18:21:42
32阅读
1、数据挖掘的特点： 数据挖掘的数据源必须是真实的； 数据挖掘所处理的数据必须是海量的； 查询一般是决策制定者（用户）提出的随机查询； 挖掘出来的知识一般是不能预知的；2、数据挖掘算法的组成： 模型或模式结构； 数据挖掘任务； 评分函数； 搜索和优化方法； 数据管理策略；3、根据数据分析者的目标，可以将数据挖掘任务分为：模式挖掘：致力于从数据中寻找模式，比如寻找
转载
2024-06-04 12:29:24
68阅读
数据挖掘基本流程数据挖掘基本流程：商业理解：从商业的角度理解项目需求，通过数据挖掘来帮助业务。数据理解：尝试手机部分数据，对其进行探索，从而对数据有个初步认知。数据准备：收集数据并对其清洗、集成等操作，完成数据挖掘前的准备。模型建立：选择和应用各种算法模型，并进行优化，以得到更好分类结果。模型评估：对模型进行评价，并检查模型的每个步骤，确认模型是否实现商业目标。上线发布：通过数据挖掘找到的隐藏点需
转载
2023-08-11 16:42:40
68阅读
一、绪论1.什么是数据挖掘从大量数据中非平凡地提取隐含的、未知的、有潜在价值的有用信息自动化、半自动化地探索、分析大量数据，以求发现有意义的模式2.数据挖掘任务预测任务（分类、回归...）描述任务（关联、聚类..）3.预测建模：涉及以说明变量函数的方式为目标变量建立模型。有两类预测建模任务分类：用于预测离散的目标变量回归：用于预测连续的目标变量4.关联分析：用来发现描述数据中心强关联特征的模式。5
转载
2023-11-14 17:30:11
169阅读
