文章目录前言维度建模关键概念度量和环境事实和维度事实表维度表星形架构和雪花架构维度建模一般过程1. 选取业务过程2. 定义粒度3. 确定维度4. 确定事实 前言我们不管是基于 Hadoop 的数据仓库（如 Hive ），还是基于传统 MPP 架构的数据仓库（如Teradata ），抑或是基于传统 Oracle 、MySQL 、MS SQL Server 关系型数据库的数据仓库，其实都面临如下问题
转载
2023-11-12 08:12:58
144阅读
第一章1. 大数据是指规模庞大、复杂多样且难以通过传统数据处理方法进行处理和分析的数据集合。它通常具有高速生成、快速流动和多样化的特点。2. 大数据相关特征的挑战和相应措施：- 数据体量大（Volume）：大数据处理面临海量数据的存储、处理和分析挑战。解决方法包括分布式存储系统（如Hadoop HDFS）和分布式计算框架（如Spark）等，以实现数据的存储、并行处理和扩展性。- 数据流动性高（Ve
转载
2023-11-30 11:15:42
256阅读
1.数据产生方式的变革主要经历了三个阶段，以下哪个不属于这三个阶段：A. 数据流阶段B. 运营式系统阶段C. 用户原创内容阶段D. 感知式系统阶段2单选(2分) 第三次信息化浪潮的发生标志是以下哪种技术的普及A. 物联网、云计算和大数据B. CPUC. 个人计算机D. 互联网3单选(2分) 1TB = ( )MBA. 2^20（备注：2的20次方）B. 1024C. 1000D. 2^10（备注：
转载
2023-09-28 07:28:31
259阅读
写在前面该文为数据挖掘概念与技术第三版课后习题的答案，部分参考了第二版的英文答案，由于个人水平有限，如若存在纰漏，请在评论区批评指正。另外，由于本次编辑格式较乱，可在资源下载区下载PDF版本以便参考。第一章 引论什么是数据挖掘？在你的回答中，强调以下问题： 1） 它是又一种噱头吗？ 2） 它是一种从数据库、统计学、机器学习和模式识别发展而来的技术的简单转换或应用吗？ 3） 我们提出了一种观点，说数
算法面试必备-----大数据算法面试必备-----大数据一、Hadoop问题：Hadoop中有哪些组件？问题：Hadoop分为三个核心部分，每个部分是什么，有什么功能？问题：Hadoop的shuffle过程问题：Hadoop分布式集群中NN和DN、SN，指得是什么？他们分别有什么作用？问题：Hadoop集群中请描述RM，NM是什么？有什么作用？问题：Hadoop集群中RM中分为几大模块，每个模块
转载
2023-11-08 21:03:06
74阅读
一、分类算法：对数据分类和预测1. KNN算法即K近邻（K Nearest Neighbour）算法，是一种基本的分类算法，其主要原理是：对于一个需要分类的数据，将其和一组已经分类标注好的样本集合进行比较，得到距离最近的K个样本，K个样本最多归属的类别，就是这个需要分类数据的类别。下面是KNN算法的原理图：上图中，红蓝绿三种颜色的点为样本数据，分属三种类别ω1、ω2和ω3。对于待分类点Xu，计算和
转载
2023-08-23 17:08:26
186阅读
大数据是时下最火热的IT行业的词汇，随之数据仓库、数据安全、数据分析、数据挖掘等等围绕大数量的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。本人在与用户沟通大数据问题时经常会遇到一些问题，现将这些常见问题汇总，抛砖引玉，希望可以帮助到大家。1. 大数据安全分析的核心目标是什么?应答：为了能够找到隐藏在数据背后的安全真相。数据之间存在着关联，传统分析无法将海量数据汇总，但是大数据技术能够应对海量
转载
2024-01-11 12:25:57
124阅读
百度百科：百度百科
原创
2022-08-19 16:20:52
138阅读
学习大数据，你需要掌握多少种算法？机器学习算法，有数百种算法：NaiveBayes（朴素贝叶斯）LinearRegression（线性回归）LogisticRegression（逻辑回归）K-Meansclustering（k均值聚类算法）DecisionTrees（决策树）NaïveBayes’Classifiers（朴素贝叶斯分类算法）……是不是看到就觉得头昏眼花了~这些还没完，还有各种各样的
转载
2020-12-16 13:09:36
806阅读
点赞
转载36大数据（36dsj.com)：36大数据»大数据等最核心的关键技术：32个算法 1、A* 搜索算法——图形搜索算法，从给定起点到给定终点...
原创
2022-04-11 15:35:07
217阅读
科学技术的更新与互联网的飞速发展，推动着大数据时代的来临，每天各行各业都在产生数量无法预估的数据碎片。只有在合理的时间内撷取、管理、处理、整理这些庞大的数据库，才能帮助企业获得自己想要的数据，从而更好地提出经营管理对策。那么数据分析有哪几种方法？今天小编就为大家整理一下：1、可视化分析 大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为
转载
2023-05-19 22:26:51
293阅读
大数据面试指南（含答案）_v1 包含Hadoop、Hive、Spark、Hbase、Java、Spring、Redis、Kafka等内容。
原创
2022-01-14 10:41:51
99阅读
大数据面试指南（含答案）_v1 包含Hadoop、Hive、Spark、Hbase、Java、Spring、Redis、Kafka等内容。 下载链接：http://download.csdn.net/detail/scgaliguodong123_/9841862
原创
2021-07-06 14:23:37
170阅读
# Hadoop大数据开发基础
大数据时代，Hadoop作为一种开源分布式计算框架，越来越多地被应用于海量数据的处理。本文将介绍Hadoop的基本概念、核心组件以及简单的代码示例，帮助读者掌握Hadoop的基础知识。
## 什么是Hadoop？
Hadoop是Apache软件基金会下的一个项目，主要用于存储和处理大规模数据。它的核心组件包括：
1. **Hadoop HDFS**（分布式文
经过了一学期的的学习，我们学习到了：私有云上创建与配置虚拟机，Hadoop，在VMware上创建虚拟机，搭建Spark Standalone集群，Scala，RDD，Spark RDD案例分析，Spring Boot框架。当然还做了很多案例和课堂小作业，从刚刚开始的一无所知到现在熟练的搭建spark集群和掌握RDD算子，我们从概念开始，再到实践案例结束。整个过程不仅不枯燥反而很有趣，对学习感兴趣说
转载
2023-09-11 17:25:56
46阅读
一、大数据算法定义在给定的资源约束下，以大数据为输入，在给定时间约束内可以生成满足给定约束结果的算法。（其中的时间约束，不同研究和业务的要求不同。如科学研究可能允许几个月的计算时间，但搜索引擎和个性化推荐要求几分钟甚至几秒计算出结果。）（1）大数据算法可以不是：精确算法、内存算法、串行算法、仅在电子计算机上运行的算法；这与“算法设计与分析”中的算法大不相同。（2）大数据算法不仅是：云计算、MapR
转载
2023-10-16 12:07:33
74阅读
相对于复杂度分析，还有一个对立的分析方法，叫做事后统计法，但它有两个缺点：测试结果非常依赖测试环境测试结果受数据规模的影响很大我们需要一个不用具体的测试数据来测试，就可以粗略地估计算法的执行效率的方法。这就是我们今天要讲的时间、空间复杂度分析方法。一、大 O 复杂度表示法对于大O复杂度表示法，我们可以把它总结成一个公式：其中，T(n) 表示代码执行的时间，即我们平时所说的时间复杂度；n 表示数据规
转载
2024-01-16 04:26:01
185阅读
大数据分析的基本方法理论(一）可视化分析大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。大数据分析的基本方法理论(二） 数据挖掘算法大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具
转载
2024-01-06 05:54:13
64阅读
第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法， 比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大
转载
2023-08-24 15:20:17
118阅读
身体不适，中断几天，接下来会陆续上传一些基本算法的概念、同时会附上一个算法使用例子。在此之前需要先把算法的大分类进行一个简单说明：一、按照机器学习分类1、有监督学习：已经知道why，这个why可以是分类变量的类别标签，也可以是要预测的数据集的值（比如收入）、可能是单类别或者多类别变量，通过目标变量的不一样有监督学习可以分为两大类，如果是鉴别类别称之为：分类，如果是预测的话，例如二手车的销售价格等，
转载
2024-08-11 17:20:29
47阅读
