spark 入门1. 下载2. 二进制包目录3. 配置4. 启动5. 体验5.1 数据准备5.2 spark-shell5.3 加载数据5.4 简单体验6. spark UI6.1 UI 入口
原创
2022-10-06 00:08:34
182阅读
1.总体技术栈Spark 与 MapReduce 的区别都是分布式计算框架，Spark 基于内存，MR 基于 HDFS。Spark 处 理数据的能力一般是 MR 的它支持完全
原创
2022-07-01 17:31:12
116阅读
默认是从hdfs读取文件，也可以指定sc.textFile("路径").在路径前面加上hdfs://表示从hdfs文件系统上读
本地文件读取 sc.textFile("路径").在路径前面加上file:// 表示从本地文件系统读，如file:///home/user/spark/README.md
网上很多例子，包括官网的例子，都是用textFile来加载一个文件创建R
转载
精选
2016-01-13 14:21:36
636阅读
Hadoop学习系列之Hadoop、Spark学习路线（很值得推荐） 1 Java基础：视频方面：推荐毕老师《毕向东JAVA基础视频教程》。学习hadoop不需要过度的深入，java学习到javase，在多线程和并行化多多理解实践即可。书籍方面：推荐李兴华的《java开发实战经典》2 Linux基础： 视频方面：（1）马哥的高薪Linux视频课程-Linux入门、 &
转载
2023-12-31 21:02:00
80阅读
CarbonData简介CarbonData是一种新型的Apache Hadoop本地文件格式，使用先进的列式存储、索引、压缩和编码技术，以提高计算效率，有助于加速超过PB数量级的数据查询，可用于更快的交互查询。同时，CarbonData也是一种将数据源与Spark集成的高性能分析引擎。图1 CarbonData基本架构 使用CarbonData的目的是对大数据即席查询提供超
转载
2023-09-07 23:44:06
156阅读
第一章1.spark是什么定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unifled）分析引擎特点：对任意数据类型的数据进行自定义计算Spark可以计算：结构化、半结构化、非结构化等各种类型的数据结构，同时也支持使用Python、Java、Scala、R以及sql语法区开发应用程序计算数据2.spark和Hadoop的对比hadoop
转载
2024-01-24 13:54:01
86阅读
前言Spark自从2014年1.2版本发布以来，已成为大数据计算的通用组件。网上介绍Spark的资源也非常多，但是不利于用户快速入门，所以本文主要通从用户的角度来介绍Spark，让用户能快速的认识Spark，知道Spark是什么、能做什么、怎么去做。Spark是什么摘用官网的定义：Spark是一个快速的、通用的分布式计算系统。提供了高级API，如：Java、Scala、Python和R。同时也支持
原创
2021-03-30 06:35:29
1528阅读
第一阶段 环境篇Spark 修炼之道（进阶篇）——Spark 入门到精通：第一节 Spark 1.5.0 集群搭建【点击打开】Spark 修炼之道（进阶篇）——Spark 入门到精通：第二节 Hadoop、Spark 生成圈简介【点击打开】Spark 修炼之道（进阶篇）——Spark 入门到精通：第三节 Spark Intellij IDEA 开发环境搭建【点击打开】第二阶段 原理篇...
原创
2021-05-28 22:34:01
929阅读
第一阶段 环境篇Spark 修炼之道（进阶篇）——Spark 入门到精通：第一节 Spark 1.5.0 集群搭建【点击打开】Spark 修炼之道（进阶篇）——Spark 入门到精通：第二节 Hadoop、Spark 生成圈简介【点击打开】Spark 修炼之道（进阶篇）——Spark 入门到精通：第三节 Spark Intellij 开发环境搭建【点击打开】第二阶段 原理篇...
原创
2022-03-15 13:33:33
2784阅读
Spark SQL是用于结构化数据处理的Spark模块。与基本的Spark RDD API不同，Spark SQL提供的接口为Spark提供了有关数据结
原创
2024-08-12 15:31:30
48阅读
文章目录Spark基础知识一、Spark框架1.Spark介绍2.Spark四大特点3.Spark框架模式4.Spark运行模式二、本地模式1.环境配置2.运行spark-shell3.Spark WordCount4.WEB UI监控5.运行圆周率PI三、Spark Standalone集群1.Standalone 架构2.解压、配置环境变量3.Spark 应用架构4.WEB UI 监控5.S
转载
2023-08-25 13:37:32
118阅读
大家好?我是你们的好朋友，程序员乌拉?。相遇是缘，既然来了就拎着小板凳坐下来一起唠会儿?，如果在文中有所收获，请别忘了一键三连，动动你发财的小手?，你的鼓励，是我创作的动力?！废话不多说，直接?开干吧！PS：文末干货，记得拎着小板凳离开的时候也给它顺走?座右铭：“懒”对一个人的毁灭性有多大，早起的重要性就多大。@TOC(数据结构详解)Spark概述ApacheSpark™简介ApacheSpark
原创
精选
2022-04-07 23:01:47
493阅读
点赞
Spark是什么？
既然设置好了Spark，现在我们讨论下Spark是什么。Spark是个通用的集群计算框架，通过将大量数据集计算任务分配到多台计算机上，提供高效内存计算。如果你熟悉Hadoop，那么你知道分布式计算框架要解决两个问题：如何分发数据和如何分发计算。Hadoop使用HDFS来解决分布式数据问题，MapReduce计算范式提供有效的分布式计算。类似的，Spark拥有多种语言的函数式
转载
2022-03-28 14:58:36
167阅读
# Spark 从入门到实战指南
Apache Spark 是一个强大的开源数据处理框架，广泛用于大数据处理和机器学习。对于新手来说，学习 Spark 可能会显得有些复杂，本文旨在帮助你从零开始入门 Spark，并提供一个清晰的学习流程和示例代码。
## 学习流程概述
下面的表格总结了从学习 Spark 到能够实际使用的步骤：
| 步骤 | 内容
1. 简介Spark 的身世Spark 是一个通用的并行计算框架，由加州伯克利大学(UC Berkeley)的 AMP 实验室开发于 2009 年，并于 2010 年开源，2013 年成长为 Apache 旗下在大数据领域最活跃的开源项目之一。目前 Spark 的版本已经更新到了 2.4.5，并且预上线了 3.0 版本，相信未来会有更精彩的地方值得我们期待。Spark 编程模型示意图...
原创
2022-06-08 05:48:43
155阅读
## Spark 和 Hadoop 入门指南
在数据处理领域，Apache Spark 和 Hadoop 是两种最常用的技术。Spark 是一个强大的数据处理引擎，而 Hadoop 是一个分布式存储和处理框架。下面将为你介绍如何快速上手这两项技术。
### 处理流程
以下是学习和使用 Spark 和 Hadoop 的基本流程：
| 步骤 | 说明 |
|------|------|
| 1
原创
2024-10-07 06:24:42
25阅读
spark dirver本质是一个spark集群的驱动程序，你要调用spark集群的计算功能，必须要通过它！from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("local").setAppName("My test App")
sc = SparkContext(conf=conf)
lines = s
原创
2023-05-31 10:28:47
84阅读
欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 本文将帮助您使用基于HBase的Apache Spark Streaming。Spark Streaming是Spark API核心的一个扩展，支持连续的数据流处理。 什么是Spark Streaming？ 首先，什么是流（streamin
转载
2018-05-16 17:23:00
211阅读
2评论
rt/ Spark 快速入门目录 [−]使用Spark进行交互式分析基本操作更多的RDD操作缓存独立应用深入了解本教程快速介绍了Spark的使用。 首先我们介绍了通过Spark 交互式shell调用API( Python或者scala代码)，然后演示如...
原创
2023-08-11 15:00:24
85阅读
Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目，Spark是基于内存计算的大数据并行计算框架。S...
原创
2022-03-24 09:46:15
107阅读
