我的工程实践选题是基于数据挖掘技术和大数据分析的成绩预判系统，该选题的主要难点在于利用数据挖掘技术和机器学习的方法对给定的一系列特征量进行数据分析和做出成绩预判。考虑到运用到人工智能领域的机器学习技术，我参考了人工智能课程的一些教材官方源代码在这里跟大家分享一下自己关于代码风格的一些认知和理解。
转载
2023-05-29 23:01:02
74阅读
什么是数据挖掘？数据挖掘是从庞大的数据集中寻找潜在有用模式的过程。它是一种多学科技能，使用机器学习，统计学和AI来提取信息以评估未来事件的概率。从数据挖掘中获得的见解用于营销，欺诈检测，科学发现等。 数据挖掘就是要发现数据之间隐藏的、未被怀疑的、以前未知但有效的关系。数据挖掘也称为数据中的知识发现（KDD），知识提取，数据/模式分析，信息收集等。数据类型可以对以下类型的数据执行数据挖掘关系数据库数
转载
2023-07-29 20:21:41
166阅读
java程序执行过程以及程序执行过程的 Runtime Data Area（运行时数据）的五大内容Java程序的执行过程： Java源代码文件（.java）→→ Java Compiler（java编译器）→→Java字节码（.class文件）→→类加载器加载（Class Loader）→→Run Data Area（运行时数据）→→Execution Engine（执行引擎）运行时数据区的组成
转载
2023-07-16 10:15:24
76阅读
2.3 项目—发现软件项目标签中的关联规则1997年，Freshmeat网站创立，它是一个跟踪免费、自由和开放源码软件（FLOSS）项目的目录。2011年，该网站更名为Freecode。在出售、并购和多次网站重新设计之后，2014年，Freecode网站的所有更新都停止了。这个网站仍然在线，但是不再更新，目录中也不再加入任何新项目。现在，Freecode是20世纪90年代和21世纪初FLOSS项目
转载
2024-01-10 15:53:30
67阅读
本节书摘来自华章社区《Python数据挖掘：概念、方法与实践》一书中的第2章，第2.3节项目—发现软件项目标签中的关联规则，作者[美] 梅甘·斯夸尔（Megan Squire），2.3 项目—发现软件项目标签中的关联规则1997年，Freshmeat网站创立，它是一个跟踪免费、自由和开放源码软件（FLOSS）项目的目录。2011年，该网站更名为Freecode。在出售、并购和多次网站重新设计之后，
转载
2024-01-31 09:26:30
69阅读
一、飞机客户数据分析预测1、读取数据代码如下import pandas as pd
datafile = "D:\\python_data\\air_data.csv"
resultfile = "D:\\python_data\\air_data_explore.csv"
data = pd.read_csv(datafile, encoding='utf-8')
explore = data.
转载
2023-11-21 08:58:06
84阅读
算法实现思路首先，获取事务集和最小支持度。事务集可以采用手动输入，也可以预定义，我在这里使用字典结构预定义事务集，并使用input()方法获取用户输入的最小支持度； 其次，根据事务集，通过遍历事务集中的每项，获取所有单项集的支持度即C1，同样以字典的方式存储，其中的键为项组成的元组，值为项集的支持度，同时为了保证后续遍历时的前n个项的顺序一致，在遍历C1时，根据排序后的键来进行遍历，筛选出符合最小
转载
2023-12-23 23:12:04
42阅读
数据挖掘流程及主流工具
限于篇幅，本文并不想对数据挖掘的技术多加阐述，读者可以阅读一些经典教材来获得相应的知识，比如《数据挖掘：概念与技术》、《数据挖掘原理》、《机器学习》等。一般来说，常用的数据挖掘技术包括：用于客户细分的聚类算法，用于交叉销售的关联分析和序列分析算法，用于客户价值分析、流失分析、交叉销售的决策树、神经网络和回归等预测算法，用于互联网的文本挖掘和Web分析等等
转载
2023-11-03 12:14:15
104阅读
现在很多网页都是由数据库自动生成的,数据分散在html代码之中:有的位于URL链接中,有的位于<td></td>之中,有的位于javascript代码之中.如何挖掘这些数据为我所用?小的不才,最近写了一个网络数据库挖掘程序,挖掘了几千万条数据.源代码不能公开,这里简单述说一下设计思路和基本结构吧.本来是用.net写的,写了几天,因为找不到好的c#的html解析器,最后还是改
文章目录1. 导包2.数据加载3.特征工程4.划分数据集4.模型选择6.模型调参（优）7.模型评估8.模型融合 1. 导包import numpy as np
import pandas as pd
import seaborn as sns (数据可视化)
import matplotlib.pyplot as plt
%matplotlib inline
#消除Waring
import
转载
2023-07-07 14:54:52
114阅读
目录一、归一化处理方法（1）min-max方法（离散归一化）（2）零-均值规范化方法（3）小数定标规范化二、插值法（1）拉格朗日插值法三、相关性分析（1）pearson相关性系数（2）spearman相关性系数四、主成分分析（PCA）一、归一化处理方法归一化常用方法有：（1）min-max方法（离散归一化）对原始数据的线性变换，将数据点映射到了[0,1]区间（默认）一般调用sklearn库中的mi
转载
2023-09-19 13:00:02
66阅读
一、Apriori 算法概述 Apriori 算法是一种最有影响力的挖掘布尔关联规则的频繁项集的 算法，它是由Rakesh Agrawal 和RamakrishnanSkrikant 提出的。它使用一种称作逐层搜索的迭代方法，k- 项集用于探索（k+1）- 项集。首先，找出频繁 1- 项集的集合。该集合记作L1。L1 用于找频繁2- 项集的集合 L2，而L2 用于找L2，如此下去，直到不能找到 k
转载
2023-11-03 23:21:46
51阅读
《统计学习方法》作业归档 涉及感知机模型、KNN、朴素贝叶斯、决策树、逻辑斯蒂回归、EM算法（混合高斯模型）、层次聚类、k均值聚类。 使用python实现。代码网址一些小说明 2022春数据挖掘作业整合学习的教材是《统计学习方法》这个项目主要是数据挖掘作业的一个整合，存个档。 作业使用python完成，也参考了别人的代码，在别人地代码上进行了一些改动。所使用到的数据集也一并上传了。作业顺序为：感知
转载
2023-10-12 09:19:19
41阅读
一、数据挖掘流程介绍1.数据读取 -读取数据 -统计指标 -数据规模 2.数据探索（特征理解） -单特征的分析，诸个变量分析对结果y的影响（x,y的相关性） -多变量分析（x,y之间的相关性）&nb
转载
2023-07-09 08:57:56
89阅读
目录1 关联规则挖掘概念2 关联规则基本模型2.1 基本概念2.2 关联规则的挖掘步骤3 Apriori算法3.1 介绍 3.2 实现步骤3.3 伪代码1 关联规则挖掘概念一、定义关联规则反映一个事物与其它事物之间的依赖和相互关联性。经典例子为购物篮分析，通过分析购物篮数据来分析顾客经常同时购买哪些商品（购买习惯）。这是BI(Business Intelligence)的一项应用。二、目
转载
2023-11-17 23:52:07
85阅读
前言本实例采用python3环境，编辑器采用Jupyter Notebook，安装使用方法请参考，本实例中所用到的附件内容放在文末，如果想要自行运行一下代码，可以尝试一下。Jupyter Notebook介绍、安装及使用教程亲和性分析示例终于迎来了第一个数据挖掘的例子，我们拿这个亲和性分析的示例来具体看下数据挖掘到底 是怎么回事。数据挖掘有个常见的应用场景，即顾客在购买一件商品时，商家可以趁机了解
转载
2024-01-21 05:34:42
167阅读
1KNIME一款强大开源的数据挖掘软件平台通过数据挖掘可以从大量有序或者杂乱无章的数据中发现潜在的规律，甚至通过训练学习还能通过已知的数据预测未来的发展变化，今天就给大家推荐一款强大开源的数据挖掘软件平台：KNIME数据分析平台。其提供了自建服务器版和云版两种支持方式，其基本的工作流程如下，先读取要分析的数据，然后对其中的一些数据进行转换，然后分析出其中的规律，最后部署到平台，KNIM
数据预处理1.数据去重import pandas as pd # 导入pandas库
# 生成重复数据
data1 = ['a', 3]
data2 = ['b', 2]
data3 = ['a', 3]
data4 = ['c', 2]
df = pd.DataFrame([data1, data2, data3, data4], columns=['col1',
'col2'])
print
转载
2023-11-17 19:07:35
132阅读
研究在Schapire的大作中提到了一个Toy Game的例子，这里给出了一个类似的Matlab代码。 先上一段代码：首先是程序需要产生一些随机的样本数据，然后分别调用其他的matlab函数实现分类结果输出。代码如下：clear all
clc
tr_n=200; %the population of the train set
te_n=200; %the pop
数据集成数据挖掘经常需要数据集成--合并来自多个数据存储的数据。小心仔细的集成有助于减少结果数据集的冗余和不一致。这有助于提高后续挖掘过程的准确性和速度。数据语义的多样性和结构对数据集成提出了巨大的挑战。数据集成将多个数据源中的数据合并，存放在一个一致的数据存储中，如存放在数据仓库中。这些数据源可能包括多个数据库、数据立方体或一般文件。1.实体识别问题来自多个信息源的等价实体如何才能匹配，这涉及到
转载
2024-01-03 13:53:45
99阅读
