本文为 对刘鹏著《大数据库》一书学习后对课后部分习题的个人理解，欢迎同学们与我讨论。1. 主流的大数据SQL引擎有哪几种？SQL引擎可以理解为具有数据存储、查询（类SQL语言）与数据处理分析能力为一体的数据仓库，应区别于Hadoop（分布式系统基础架构）、MapReduce（分布式计算（处理）架构）、HDFS（分布式文件系统）与HBase等NoSql（数据库）等。Shark/Spark SQL、I
转载
2024-09-20 15:38:33
35阅读
系列文章全国大学生大数据技能竞赛（Hadoop集群搭建）全国大学生大数据技能竞赛（数仓部署） 文章目录系列文章前言资料链接Spark on Yarn安装3.1安装Scala3.2安装Spark 前言本篇博客根据往年全国大学生大数据技能竞赛资料搭建，每一个步骤都有相应的执行的截图。以下博客仅作为个人搭建过程的记录~如有不足之处欢迎指出，共同学习进步。附上资料链接。资料链接青椒课堂（红亚）网站链接：h
转载
2024-06-03 10:26:02
296阅读
文章目录实习五 Spark软件栈体验Spark安装与启动1.Spark RDD-WordCount2.Spark SQL3.Spark MLlib之Titanic4.GraphX再现PageRank 实习五 Spark软件栈体验Spark安装与启动本次实习采用spark为3.0.0版本。在根据教程安装后输入./bin/spark-shell进入交互模式，界面生成如下结果：输入如下代码进行RDD简
转载
2024-04-10 04:32:21
1493阅读
098 AdminHeaderLinksModel、HeaderLinksModel、ICommonModelFactory、CommonModelFactory、AdminHeaderLinksViewComponent、HeaderLinksViewComponent AdminHeaderLinksModel类，该类及其属性成员在程序执行时，为
可行性分析的任务及报告第1关：可行性分析的任务及报告任务描述相关知识作答要求参考资料答案 第1关：可行性分析的任务及报告任务描述本关任务：根据所学有关可行性分析的知识，完成右侧的选择题。相关知识为了完成本关任务，你需要掌握： 1.可行性分析的具体含义与内容； 2.可行性分析报告。可行性分析简介 可行性分析是通过对项目的主要内容和配套条件，如市场需求、环境影响、资金筹措、盈利能力等，从技术、经济、
本节书摘来自华章计算机《Spark大数据处理：技术、应用与性能优化》一书中的第1章，第1.1节,作者:高彦杰 第1章 Spark 简 介本章主要介绍Spark大数据计算框架、架构、计算模型和数据管理策略及Spark在工业界的应用。围绕Spark的BDAS 项目及其子项目进行了简要介绍。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streami
转载
2023-09-25 08:44:27
101阅读
# 学习Spark大数据技术与应用的入门指南
对于刚入行的小白来说，学习Spark大数据技术可能会觉得有些复杂。但只要掌握了必要的流程和代码示例，你也能顺利上手。下面我将为你提供一个学习Spark的流程步骤以及每一步的具体实现。
## Spark学习流程
| 步骤 | 描述 |
|------|--------------------------|
|
Hadoop三种运行方式：单机模式。优点：安装配置简单，运行在本地文件系统，便于调试和查看运行效果；缺点：数据量大时较慢，不能模拟分布式模式；伪分布式模式。优点：运行在本地HDFS文件系统上，能够模拟完全分布模式，看到一些分布式处理的效果；完全分布式模式。优点：运行在多台机器的HDFS之上，体现出分布式的优点；缺点：调试麻烦； Hadoop网络用户界面：JobTracker：（http://job
Spark的基础编程Spark的一些基本概念1.RDD：弹性分布式数据集，是分布式内存的一个抽象概念，提供了一种高度受限的共享内容模型，即RDD是只读的记录分区的集合，只能基于稳定的物理存储中的数据集来创建RDD，或者通过其它RDD上执行确定的转换操作（如map,join,group by）来创建，这些限制使得实现容错的开销很低。一个RDD 就是一个分布式对象集合，作为数据结构，RDD本质上是一个
转载
2023-11-01 20:24:27
170阅读
Apache Spark是一个在集群上运行的统一计算引擎以及一组并行数据处理软件库。 1.Spark应用程序Spark应用程序由一个驱动器进程和一组执行器进程组成。 驱动进程运行mian()函数，位于集群中的一个节点上：维护Spark应用程序的相关信息；回应用户的程序或输入；分析任务并分发给若干执行器进行处理执行器负责执行驱动器分配给它的实际计算工作：执行驱动器分配给他的代码；将执行器的计算状态报
转载
2023-12-03 10:06:26
77阅读
大数据处理期末复习部分内容。
目录1. 分析题（1）常见大数据计算模式及其解决的主要问题。（2）spark streaming的运行原理。（3）spark能不能取代Hadoop，理由是什么。（4）spark中的宽依赖和窄依赖分别是什么，它们的区别是什么。（5）划分stage的方法，在图中划分stage。（6）函数式编程的特点，其与命令式编程的区别。2.
问题重述• 基于Eclipse或IDEA完成Spark大数据分析 • Spark1.x或2.x版本均可 • 能够读取给定的数据文件 • 出租车GPS数据文件（taxi_gps.txt） • 北京区域中心坐标及半径数据文件(district.txt) • 能够输出以下统计信息 • A：该出租车GPS数据文件（taxi_gps.txt）包含多少量车？ • B：北京每个城区的车辆位置点数（每辆车有多个位
转载
2024-10-26 20:03:25
21阅读
大数据技术原理与应用学习笔记（十）SparkSpark简介Spark与Hadoop对比Spark生态系统Spark运行架构基本概念运行架构基本流程RDDRDD特性RDD依赖关系和运行过程Spark SQLSpark部署应用方式Spark编程实践 SparkSpark简介Spark的特点：运行速度快容易使用通用性运行模式多样Spark采用Scala语言1为Spark主要编程语言，同时还支持Java
转载
2023-11-26 20:47:14
448阅读
大数据生态圈-Spark理论知识（一）官网地址：http://spark.apache.org/ Apache Spark 是用于大规模数据分布式计算的框架。内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。扩展了广泛使用的MapReduce计算模型。Spark是MapReduce的替代方案，而且兼容HDFS、Hive，可融入Hadoop的生态系统，以弥补MapReduce的不足。(二)
转载
2024-08-14 17:36:51
0阅读
大数据复习第一章、大数据概述1.1 大数据时代背景：2010年前后，大数据、云计算、物联网的快速发展，拉开了第三次信息化浪潮的大幕。大数据时代的技术支撑：存储设备容量不断增加，读写速度提升，价格下降CPU处理能力大幅提高，促进数据量的增加，“摩尔定律”网络带宽不断增加，网络覆盖范围和速度都增加数据产生方式的变革促成了大数据时代的来临：阶段一：运营式系统阶段自数据库诞生开始数据库总保存了大量结构化的
转载
2024-07-23 13:27:10
295阅读
第一课 大数据技术之Spark-环境和快速入门 文章目录第一课 大数据技术之Spark-环境和快速入门第一节 Spark 概述1.1 Spark介绍1.2 Spark和Hadoop选择1.3 核心模块介绍第二节 环境搭建和快速上手2.1 增加 Scala 插件2.2 快速上手wordcount2.3 wordcount优化用聚合的逻辑2.4 wordcount常用方法第三节 执行日志和常见异常3.
转载
2024-06-30 17:37:20
95阅读
文章目录1. SparkSQL 概述1.1 SparkSQL 是什么1.2 Hive and SparkSQL1.3 SparkSQL 特点1.3.1 易整合1.3.2 统一的数据访问1.3.3 兼容 Hive1.3.4 标准数据连接1.4 DataFrame 是什么1.5 DataSet 是什么2. SparkSQL 核心编程2.1 新的起点2.2 DataFrame2.2.1 创建 Data
转载
2024-08-14 16:20:35
119阅读
大数据技术概述复习（二）Spark原理简单介绍1.Mapreduce引擎的缺陷MapReduce主要三点缺陷：表达能力有限。计算必须转化成Map和Reduce的操作，不够通用，难以描述复杂的数据处理过程。实际开发时需要编写不少相对底层的代码，效率低、不方便编写。磁盘IO开销大。每次执行都需要从磁盘 中读取数据，计算完成后的中间结果也要写入磁盘。进行迭代运算时非常耗资源。计算延迟高。一次计算中，任务
转载
2024-08-14 19:06:12
48阅读
1.Spark是基于内存计算的大数据计算平台，试述Spark的主要特点。答：Spark具有如下4个主要特点：①运行速度快；②容易使用；③通用性；④运行模式多样。 2.Spark的出现是为了解决Hadoop MapReduce的不足，试列举Hadoop MapReduce的几个缺陷，并说明Spark...
原创
2022-04-01 10:52:50
1139阅读
1.Spark是基于内存计算的大数据计算平台，试述Spark的主要特点。答：Spark具有如下4个主要特点：①运行速度快；②容易使用；③通用性；④运行模式多样。 2.Spark的出现是为了解决Hadoop MapReduce的不足，试列举Hadoop MapReduce的几个缺陷，并说明Spark...
原创
2021-06-01 17:47:55
1044阅读
