文章目录Spark基础知识一、Spark框架1.Spark介绍2.Spark四大特点3.Spark框架模式4.Spark运行模式二、本地模式1.环境配置2.运行spark-shell3.Spark WordCount4.WEB UI监控5.运行圆周率PI三、Spark Standalone集群1.Standalone 架构2.解压、配置环境变量3.Spark 应用架构4.WEB UI 监控5.S
转载
2023-08-25 13:37:32
118阅读
第一章1.spark是什么定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unifled）分析引擎特点：对任意数据类型的数据进行自定义计算Spark可以计算：结构化、半结构化、非结构化等各种类型的数据结构，同时也支持使用Python、Java、Scala、R以及sql语法区开发应用程序计算数据2.spark和Hadoop的对比hadoop
转载
2024-01-24 13:54:01
86阅读
教程目录0x00 教程内容0x01 Spark SQL相关概念1. Spark SQL介绍2. DataFrame介绍0x02 Spark SQL 实战入门1. 数据准备2. 编程缺图0xFF 总结0x00 教程内容0x01 Spark SQL相关概念1. Spark SQL介绍Spark SQL 作为 Spark 四大核心组件之一，主要用于处理结构化数据或半结构化数据，它支持在Spark 中使用 SQL 对数据进行查询，还可以从各种外部数据源中导入数据并将其进行处理。它会提供底层的优化操作
原创
2021-06-10 18:16:58
819阅读
教程目录0x00 教程内容0x01 Spark SQL相关概念1. Spark SQL介绍2. DataFrame介绍0x02 Spark SQL 实战入门1. 数据准备2. 编程缺图0xFF 总结0x00 教程内容0x01 Spark SQL相关概念1. Spark SQL介绍Spark SQL 作为 Spark 四大核心组件之一
原创
2022-01-16 18:02:25
190阅读
十二月份，天气有时候会很阴沉，一天都见不到太阳。气温也慢慢变冷了，晚上回家还是会感觉到衣服穿少了。
阴阴沉沉总会过去的，我还是期待阳春三月。
2019年即将过去了，今晚是平安夜。每到平安夜我都会想起2016年的平安夜，周末，天气阴沉，雾霾天，考研刚结束。这几个词仿佛是下意识的就会从我的脑海中蹦出来，真的会难以释怀。 说点好的吧，最近也认识了一些新朋友、新读者，能够得到大家的认可我还是挺开
众所周知，Spark 它是专门为大规模数据处理而设计的快速通用计算引擎，因此Spark它在数据的挖掘等领域便有着非常广泛的应用，而从现阶段来讲的话它也已经形成了一个高速发展并且应用相当广泛的生态系统了。所以，今天这篇文章便要为大家做一个Spark入门基础的简单介绍，满满干货，请不要错过。一、关于Spark的概述我们可以了解到，当前，MapReduce编程模型成为了一种比较主流的分布式编程模型，并且
转载
2024-01-12 11:30:17
32阅读
想要了解0基础怎样入门Spark，那么我们首先需要了解什么是Spark，下面就一起来看看吧。 1.什么是Spark Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。 与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势。 首先，Sp
转载
2023-10-26 17:37:54
76阅读
目录 基础概述分工作业提交流程Executor共享变量Broadcast Variable(广播变量)Accumulator(累加变量)内存管理相关配置堆内内存堆外内存Execution 内存和 Storage 内存动态调整Task之间内存分布Spark Corespark的shuffle内存管理——TungstenSpark SQLParser模块Analyzer模块Optimizer模块S
转载
2023-10-08 21:33:06
115阅读
Driver程序在YARN集群中，和集群的通信成本低2.Driver输出结果不能在客户端显示。
原创
2023-01-12 07:27:44
163阅读
一、Spark 是什么？定义： Apache Spark是用于大规模数据 (large-scala data)处理的统一(unified) 分析引擎。Spark 最早源于一篇论文 Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing， 该论文是由加州大学柏克莱分校的
原创
2023-01-12 07:34:54
159阅读
一、课程服务器环境本次课程使用三台Linux虚拟机服务器来学习, 三台虚拟机的功能分配是:node1: Master(HDFS\YARN\Spark) 和 Worker(HDFS\ YARN\ Spark)node2: Worker(HDFS\ YARN\ Spark)node3: Worker(HDFS\ YARN\ Spark) 和 Hive集群环境的搭建, 同学们有2种选择:方式1: 自行搭
原创
2023-01-12 07:34:10
175阅读
集群相关 Cluster Manager指的是在集群上获取资源的外部服务，为每个spark application在集群中调度和分配资源的组件，目前有三种类型： Standalone：Spark 原生的资源管理，由 Master 负责资源的分配 Apache Mesos：与 Hadoop MapRe ...
转载
2021-10-26 11:10:00
178阅读
2评论
这篇博客中对三种部署模式做了对比，请参考部署模式对比：总结如下：
原创
2018-05-08 14:20:43
1663阅读
点赞
spark大数据架构初学入门基础详解
原创
2019-11-27 22:05:11
882阅读
默认是从hdfs读取文件，也可以指定sc.textFile("路径").在路径前面加上hdfs://表示从hdfs文件系统上读
本地文件读取 sc.textFile("路径").在路径前面加上file:// 表示从本地文件系统读，如file:///home/user/spark/README.md
网上很多例子，包括官网的例子，都是用textFile来加载一个文件创建R
转载
精选
2016-01-13 14:21:36
636阅读
spark 入门1. 下载2. 二进制包目录3. 配置4. 启动5. 体验5.1 数据准备5.2 spark-shell5.3 加载数据5.4 简单体验6. spark UI6.1 UI 入口
原创
2022-10-06 00:08:34
182阅读
1.总体技术栈Spark 与 MapReduce 的区别都是分布式计算框架，Spark 基于内存，MR 基于 HDFS。Spark 处 理数据的能力一般是 MR 的它支持完全
原创
2022-07-01 17:31:12
116阅读
Hadoop学习系列之Hadoop、Spark学习路线（很值得推荐） 1 Java基础：视频方面：推荐毕老师《毕向东JAVA基础视频教程》。学习hadoop不需要过度的深入，java学习到javase，在多线程和并行化多多理解实践即可。书籍方面：推荐李兴华的《java开发实战经典》2 Linux基础： 视频方面：（1）马哥的高薪Linux视频课程-Linux入门、 &
转载
2023-12-31 21:02:00
80阅读
Spark是大数据体系的明星产品，是一款高性能的分布式内存迭代计算框架，可以处理海量规模的数据。下面就带大家来学习！一、Standalone 架构Standalone模式是Spark自带的一种集群模式， 不同于前面本地模式启动多个进程来模拟集群的环境， Standalone模 式是真实地在多个机器之间搭建Spark集群的环境， 完全可以利用该模式搭建多机器集群，用于实际的大数据处理。StandAl
原创
2023-01-12 07:33:17
227阅读
文章目录Spark介绍启动工作（单机伪分布式）数据以学生成绩数据创建RDD从内存中已有数据创建RDDparallelizemakeRDD从外部存储创建RDD从HDFS文件创建RDD从Linux本地文件创建RDD任务实现查询学生成绩表中的前5名使用map转换数据使用sortBy()排序使用collect()查询使用flatMap转换数据使用take()方式查询某几个值任务实现 Spark介绍Apa
转载
2023-08-21 16:49:44
190阅读
