特征工程包括特征选择和特征提取。数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。通常而言，特征选择是指选择获得相应模型和算法最好性能的特征集，工程上常用的方法：①计算每一个特征与响应变量的相关性：计算皮尔逊系数和互信息系数，皮尔逊系数只能衡量线性相关性而互信息系数能够很好地度量各种相关性，但是计算相对复杂一
转载
2024-09-03 09:16:16
39阅读
算法1、给定一个整数n，找出连续整数相加为该数的情况有多少？设等差数列：an=a+(n-1)*d （这里首项为a，公差d=1，第n项为an，前n项和为sn）a1=aan=a+n-1sn=(a1+an)n/2=(2a-1+n)*n/2再回到这个编程上来：我们的输入数据其实就是sn，需要找到以a开始的n个连续的递增数列使得和为sn。这里我们可以用循环来判定，给定一个n，sn已知，就可以求出a，如果a为
转载
2024-01-14 19:37:35
93阅读
1.某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖掘的哪类问题？A. 关联规则发现B. 聚类C. 分类D. 自然语言处理 2.以下两种描述分别对应哪两种对分类算法的评价标准？(a)警察抓小偷，描述警察抓的人中有多少个是小偷的标准。(b)描述有多少比例的小偷给警察抓了的标准。A. Precision, RecallB. Recall, PrecisionC.
文章目录作业清单（4/20）作业清单（4/22）csv、线性回归【3】 思考最大似然估计MLE和最小二乘之间的关系？作业清单（4/29、5/4）实验报告1. 一元回归——通过面积预测房价2. 建立多元回归模型——波士顿房价预测数据集使用的第三方库读取并处理数据查看数据查看数据分散情况——绘制箱形图数据集分割建立多元回归模型测试画图表示结果实验结果分析知识点总结过拟合&欠拟合数据清洗作业清
转载
2023-12-22 21:57:58
56阅读
大数据时代的数据挖掘—— 从应用的角度看大数据挖掘李 涛1,2，曾春秋1,2，周武柏1,2，周绮凤3，郑 理1,21. 南京邮电大学计算机学院 南京 210023；2. 美国佛罗里达国际大学 迈阿密 33199；3. 厦门大学自动化系 厦门 361005 摘要：介绍了大数据时代数据挖掘的特点、任务及难点，分析了大数据挖掘的核心架构，提出大数据的核心和本质，即应用、算法、数据和平台4个要素的有机结
转载
2024-09-22 11:04:15
49阅读
3.2 Hive原理3.2.1 Hive架构Hive的架构如图3-2所示。 从图3-2中可以看到，Hive包含用户访问接口（CLI、JDBC/ODBC、GUI和Thrift Server）、元数据存储（Metastore）、驱动组件（包括编译、优化、执行驱动）。用户访问接口即用户用来访问Hive数据仓库所使用的工具接口。CLI（command line interface）即命令行接口
转载
2024-09-26 07:27:43
57阅读
# 理解逻辑回归：数据挖掘中的重要工具
逻辑回归是数据挖掘和机器学习中一种重要的统计方法，它主要用于二分类问题。逻辑回归虽然叫“回归”，但它实际上是一种分类模型。它通过建立自变量与因变量之间的关系，预测因变量的类别。在这篇文章中，我们将介绍逻辑回归的基本概念、应用场景以及实现代码示例。
## 逻辑回归的基本概念
逻辑回归的核心思想是通过逻辑函数（逻辑斯蒂函数）将线性方程的输出压缩到0和1之间
（一）假定下面的表从面向属性的归纳导出 （a）t-权交叉表:使用t_weight表示主概化关系中每个元组的典型性, class\birth_placecanadaothersboth_birth_place countt-weightd-weightcountt-weightd-weightcountt-weightd-weightprogrammer18060%90
转载
2024-01-14 09:22:34
86阅读
数据挖掘是一门涉及统计学、机器学习和数据库技术的跨学科领域，其目的是从大量的数据中发现潜在的模式和关联。数据挖掘技术在商业、科学、医疗等领域都有着广泛的应用。
在数据挖掘中，我们通常会对数据进行各种处理和分析，以便从中获取有用的信息。而在实际应用中，往往需要借助计算机编程语言来实现数据挖掘算法。下面我们以一个数据挖掘期末考试的计算题为例，来介绍一些常见的数据挖掘计算方法。
**考试题目：**
原创
2024-04-24 07:46:06
366阅读
Occam剃刀越简单越好原假设原假设是假定在观测中的不同只归因于偶然性。数据挖掘者和统计学家之间的一个差别是，数据挖掘者时常面对足够大量的数据，没有必要去考虑那些归因于偶然性事件的概率计算技巧。p值一般常用p值给出原假设为真的概率。当原假设为真是，表示真的没有发生什么，因为差异归因于偶然性。置信度，又是称为q值，是p值的反面。通常的目标是追求至少90%的置信层次，如果达不到95%或者更多的话。观察
转载
2024-01-15 09:40:05
44阅读
目录(?)[-]一认识Logistic回归LR分类器二Logistic回归数学推导1梯度下降法求解Logistic回归2向量化Vectorization求解3步长a的选择4特征值归一化5算法优化--随机梯度法三Python实现Logistic回归算法machine learning Logistic regression四Logistic回归应用参考 （一）认识Logistic回归（LR）分类器首
转载
2024-02-05 09:00:19
29阅读
【PMP 考试计算题】—— 深入解析PMP认证与考试细节
PMP认证作为全球公认的项目管理专业人士认证，对于提升项目管理能力和职业竞争力具有重要意义。本文将围绕PMP考试的计算题，详细解析考试相关费用、时间以及认证维持等方面的内容。
一、PMP认证费用与考试时间
根据官方数据，PMP考试费用为3900元。考生在提交考试申请时需要支付这一费用。而如果考生在初次考试中未能通过，需要支付2500元
原创
2023-11-15 12:30:08
99阅读
最近在读《Introduction to Data Mining 》这本书，发现课后答案只有英文版，于是打算结合自己的理解将答案翻译一下，其中难免有错误，欢迎大家指正和讨论。侵删。第十章 答： 首先，注意到基于密度和基于邻近度的技术是相关的，因为高密度的区域的点附近必然有很多点。而基于模型的技术需要找到一个适合数据的模型，并且一个具体的模型是假定的，从这一方面来说，基于密度和邻近度的技术不需要对数
转载
2023-12-08 19:27:53
94阅读
5.1 假定10维基本方体只包含3个基本单元: (1) (a1,d2,d3,d4,...,d9,d10), (2) (d1,b2,d3,d4,...,d9,d10), 和(3) (d1,d2,c3,d4,...,d9,d10),其中a1≠d1, b2≠d2并且c3≠dz。该立方体的度量是count ()。 (a)完全数据立方体中包含多少个非空方体? (b)完全立方体中包含多少个非空聚集(即非基本
转载
2024-01-10 16:33:32
282阅读
目录1.创建一个3行3列的nadrray数组，数组元素为1，2，3，，，9这九个数。编写程序，计算输出其所有的元素的和.每行的均值以及每列的均值2.正则化一个5行5列的随机矩阵，并输出。正则的概念是假设a是矩阵中的一个元素，max和min分别是矩阵元素的最大值和最小值，则正则化后a=（a-min）/（max-min）3.如图所示4.设计程序，绘制函数f（x）=3*x**2+7*x-9，x属于0到8
转载
2023-11-25 10:51:19
32阅读
【pmp考试中计算题】—— 深入解析PMP考试与认证维持要求
PMP，即项目管理专业人士资格认证，是国际权威的项目管理认证之一。对于志在从事项目管理工作的人士来说，获取PMP认证无疑是对自身能力和专业素养的有力证明。然而，PMP认证并非一劳永逸，为了保持认证的有效性，持证者需要每三年积累60个PDU（专业发展单位）。今天，我们将围绕PMP考试的计算题，考试细节以及认证维持要求展开讨论。
首先，
原创
2023-11-15 12:29:38
106阅读
决策树 加权系统 自制和外购决策 PERT 投资回收期 计算题2 专练进度网络 单代号网络图，双代号网络图 总时差，自由时差，关键路径，最早（开始）完成时间，最晚完成时间... 资源平滑 计算题3 成本管理（挣值分析（EVM分析）、成本预测）
原创
2022-12-08 14:58:04
148阅读
目录一、填空题二、计算题一、填空题❃随着信息技术的高速发展，数据库应用的规模、范围和深度不断扩大，网络环境成为主流等等。产生“数据丰富而信息贫乏”现象。❃“数据丰富而信息贫乏”现象导致大数据概念。❃数据（Data）、信息（Information）和知识（Knowledge）是广义数据表现的不同形式。❃大数据时代的数据挖掘技术需求分析的流派：数据论、方法论、环境论、特征论...
原创
2021-12-29 11:37:03
3554阅读
C4.5算法与ID3算法的不同点： （1）分支指标采用增益比例 （2）数值属性的处理 （3）处理缺少属性值的训练样本 （4）使用K次迭代交叉验证，评估模型的优劣程度； （5）根据生成的决策树，可以产生一个if-then规则的集合。计算的步骤： 1.对数据源进行预处理 2.计算每个属性的信息增益和信息增益率 3.根节点属性每一个可能的取值对应一个子集，对样本子集递归地执行以上Step2过 程，直到划
转载
2024-01-16 00:59:18
53阅读
最近正打算学习一些数据挖掘方面的知识，开始看了一些相关博文，但是太过零碎，一直对此没有一个较为系统的认识。周末在图书馆闲逛，偶然看见《大话数据挖掘》一书，发现讲的比较有条理，还蛮适合入门的，因此就读了两章，作此笔记。本文只是介绍了数据挖掘入门的一些算法分类，不涉及具体算法实现。
一下是整理的算法分类图：
1、关联
 
