Spark Streaming 是核心Spark API的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。可以从许多数据源（例如Kafka，Flume，Kinesis或TCP sockets）中提取数据，并且可以使用复杂的算法处理数据，这些算法用高级函数表示，如map、reduce、join和 ...
转载
2021-05-03 23:16:46
382阅读
2评论
3. Spark 入门目标 通过理解 Spark 小案例, 来理解 Spark 应用
原创
2021-08-27 15:36:06
627阅读
3. Spark 入门目标 通过理解 Spark 小案例, 来理解 Spark 应用 理解编写 Spark 程序的两种常见方式 spark-shell spark-submit Spark 官方提供了两种方式编写代码, 都比较重要, 分别如下 spark-shell Spark shell 是 Spark 提供的一个基于 Scala 语言的交互式解释器, 类似于 Scala 提供的交互式解释器, Spark shell 也可以直接在 Shell
原创
2022-01-27 14:08:27
526阅读
环境 spark-1.6 python3.5一、python开发spark原理使用python api编写pyspark代码提交运行时，为了不破坏spark原有的运行架构，会将写好的代码首先在python解析器中运行(cpython)，Spark代码归根结底是运行在JVM中的，这里python借助Py4j实现Python和Java的交互,即通过Py4j将pyspark代码“解析”到JVM中去运
转载
2023-08-13 09:22:36
392阅读
Spark Structured Streaming入门操作
原创
精选
2023-10-19 11:36:09
266阅读
Spark Structured Streaming入门操作
原创
2021-07-12 16:38:28
1110阅读
项目github地址：bitcarmanlee easy-algorithm-interview-and-practice 欢迎大家star，留言，一起学习进步1.spark sql简介spark sql是为了处理结构化数据的一个spark 模块。不同于spark rdd的基本API，spark sql接口更多关于数据结构本身与执行计划等更多信息。在spark内部，sql sql利用这些信息去更好
转载
2024-02-20 07:47:33
36阅读
RDD编程在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFile等)。在Spark中，只有遇到action，才会执行RDD的计算(即延迟计算)，这样在运
转载
2023-09-28 00:58:46
139阅读
Spark Streaming 编程指南OverviewA Quick ExampleBasic ConceptsLinkingInitializing StreamingContextDiscretized Streams (DStreams)Input DStreams and ReceiversTransformations on DStreamsOutput Operations on D
一、简介RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFile等)。在Spark中，只有遇到action，才会执行RDD的计算(即延迟计算)，这样在运行时可以通过管道的
转载
2023-08-18 22:47:18
87阅读
前言： Spark SQL是Spark大数据框架的一部分， 支持使用标准SQL查询和HiveQL来读写数据，可用于结构化数据处理，并可以执行类似SQL的Spark数据查询，有助于开发人员更快地创建和运行Spark程序。 全书分为4篇，共9章，第一篇讲解了Spark SQL发展历史和开发环境搭建。第二篇讲解了Spark SQL实例，使得读者掌握Spark SQL的入门操作，了 解Spark RDD、
转载
2024-05-17 22:42:18
168阅读
1、Spark编程模型1.1 术语定义l应用程序（Application）： 基于Spark的用户程序，包含了一个Driver Program 和集群中
转载
2023-06-09 04:07:09
124阅读
练习一：val rdd = sc.parallelize(List("dog","an","cat","an","cat"))第一步：通过获取rdd中每个元素的长度创建新的rdd1第二步：通过zip把rdd1和rdd组合创建rdd2第三步：去重第四步：输出结果val rdd = sc.parallelize(List("dog","an","cat","an","ca
转载
2024-03-06 23:15:05
64阅读
Spark学习之RDD编程（2）1. Spark中的RDD是一个不可变的分布式对象集合。2. 在Spark中数据的操作不外乎创建RDD、转化已有的RDD以及调用RDD操作进行求值。3. 创建RDD:1）读取一个外部数据集2）在驱动器程序里分发驱动器程序中的对象集合。4. RDD支持的操作：1）转换操作，由一个RDD生成一个新的RDD。
2）行动操作，对RDD进行计算结果，并把结果返回到驱动器程序中
转载
2024-07-19 23:44:54
50阅读
：运行Application的main()函数并创建SparkContext。通常SparkContext代表driver programExecutor: 在集群上获得资源的外部服务（例如 Spark Standalon，Mesos、Yarn）Worker Node：被送到executor上执行的工作单元。Job：每个Job会被拆分成很多组Task，每组任务被称为stage，也可称TaskSet
转载
2023-11-18 15:37:09
645阅读
spark使用scala语言开发的，进行spark开发优先考虑scala语言了。而进行scala程序开发，我们自然得考虑一款好用的IDE，这里推荐IntelliJ IDEA。本次安装环境：win7 64位系统。1、安装jdk下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
转载
2023-12-27 16:57:58
139阅读
1、RDD创建1）从集合（内存）中创建 RDD从集合中创建RDD，Spark主要提供了两个方法：parallelize和makeRDD// 创建 Spark 运行配置对象
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("CreateRDD01")
// 创建 Spark 上下文环境对象（连接对象）
转载
2023-08-11 11:02:00
152阅读
一、数据读写(1)从文件系统加载数据创建RDD ①本地文件：sc.textFile("file:///data/spark/buyer_favorite") ②HDFS文件：sc.textFile("hdfs://localhost:9000/spark/buyer_favorite")(2)通过并行集合创建RDD val array = Array(1,2,3
转载
2023-11-06 13:07:12
87阅读
Spark编程(一) RDD编程1.RDD创建1.1从文件系统加载数据创建RDD测试如下当前系统中存在一个文件word.txt 位置和内容如下读取成功1.2通过数组创建RDD2.RDD操作2.1 转换操作2.2 行动操作2.3 惰性机制2.4 实例filter操作找出文本文件中单行文本所包含的单词数量最大值还可以用这个语句我觉得简单一点lines.map(_.split(" ").size).ma
转载
2023-09-15 15:32:56
76阅读
默认是从hdfs读取文件，也可以指定sc.textFile("路径").在路径前面加上hdfs://表示从hdfs文件系统上读
本地文件读取 sc.textFile("路径").在路径前面加上file:// 表示从本地文件系统读，如file:///home/user/spark/README.md
网上很多例子，包括官网的例子，都是用textFile来加载一个文件创建R
转载
精选
2016-01-13 14:21:36
636阅读
