练习一：val rdd = sc.parallelize(List("dog","an","cat","an","cat"))第一步：通过获取rdd中每个元素的长度创建新的rdd1第二步：通过zip把rdd1和rdd组合创建rdd2第三步：去重第四步：输出结果val rdd = sc.parallelize(List("dog","an","cat","an","ca
转载
2024-03-06 23:15:05
64阅读
1、Spark编程模型1.1 术语定义l应用程序（Application）： 基于Spark的用户程序，包含了一个Driver Program 和集群中
转载
2023-06-09 04:07:09
124阅读
1,在Scala中定义类是用class关键字；2，可以使用new ClassName的方式构建出类的对象；3, 如果名称相同，则object中的内容都是class的静态内容，也就是说object中的内容class都可以在没有实例的时候直接去调用；正是因为可以在没有类的实例的时候去调用object中的一切内容，所以可以使用object中的特定方法来创建类的实例，而这个特定方法就是apply方法；4，
原创
2016-08-07 11:17:51
1184阅读
项目github地址：bitcarmanlee easy-algorithm-interview-and-practice 欢迎大家star，留言，一起学习进步1.spark sql简介spark sql是为了处理结构化数据的一个spark 模块。不同于spark rdd的基本API，spark sql接口更多关于数据结构本身与执行计划等更多信息。在spark内部，sql sql利用这些信息去更好
转载
2024-02-20 07:47:33
36阅读
Spark 计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于 处理不同的应用场景。三大数据结构分别是：RDD : 弹性分布式数据集累加器：分布式共享只写变量广播变量：分布式共享只读变量1. RDD1.1. 什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。代码中是一个抽象类，它代表一个
转载
2023-11-27 04:41:18
82阅读
本文主要记录我使用Spark以来遇到的一些典型问题及其解决的方法，希望对遇到相同问题的同学们有所帮助。
1. Spark环境或配置相关
Q: Sparkclient配置文件spark-defaults.conf中，spark.executor.memory和spark.cores.max应该怎样合理配置？A: 配置前，须要对spark集群中每一个节点机器的core和memory的配置有基本了解
转载
2017-08-02 09:43:00
66阅读
Top K
Top K算法有两步，一是统计词频，二是找出词频最高的前K个词。
1.实例描述
假设取Top 1，则有如下输入和输出。
输入：
Hello World Bye World
Hello Hadoop Bye Hadoop
Bye Hadoop Hello Hadoop
原创
2017-07-21 16:17:55
3224阅读
大家好我是一名数据科学与大数据专业的一名大二学生，对大数据处理和大数据分析很感兴趣，写博客只是记录我学习的过程，并且与大家分享学习经验！ 下面为大家带来运用spark运算框架对流数据进行词频统计案例！1、首先新建一个maven项目导入spark-streaming程序开发所需依赖<dependency>
<groupId>org.apache.spa
转载
2023-11-10 13:11:44
85阅读
SparkStreaming 案例实操一、环境准备1、pom 文件2、生产数据二、需求一：广告黑名单1) 思路分析2) 存放黑名单用户的表3) 存放单日各用户点击每个广告的次数4) 代码实现5) 优化三、需求二：广告点击量实时统计1、思路分析2、MySQL 建表代码实现四、需求三：最近一小时广告点击量1、 思路分析2、代码实现优化页面展示 一、环境准备1、pom 文件<?xml versi
转载
2023-11-19 07:03:52
14阅读
Spark Streaming 编程指南OverviewA Quick ExampleBasic ConceptsLinkingInitializing StreamingContextDiscretized Streams (DStreams)Input DStreams and ReceiversTransformations on DStreamsOutput Operations on D
一、简介RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFile等)。在Spark中，只有遇到action，才会执行RDD的计算(即延迟计算)，这样在运行时可以通过管道的
转载
2023-08-18 22:47:18
87阅读
RDD编程在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFile等)。在Spark中，只有遇到action，才会执行RDD的计算(即延迟计算)，这样在运
转载
2023-09-28 00:58:46
139阅读
1.Spark简单介绍什么是Spark? Spark是UC BerkeleyAmp实验室开源的类Hadoop MapReduce的通用并行计算框架 Spark VS MapReduceMapReduce ①.缺少对迭代计算以及DAG运算的支持 ②.Shuffle过程多次排序和落地，MR之间的数据须要
转载
2017-07-05 09:25:00
125阅读
2评论
文章目录Spark 案例实操一、数据准备二、案例需求需求1：Top10 热门品类说明需求说明代码示例代码优化（aex） Spark 案例实操一、数据准备在之前的学习中，我们已经学习了 Spark 的基础编程方式，接下来，我们看看在实际的工作中如何使用这些 API 实现具体的需求，这些需求是电商网站的真实需求，所以在实现功能前，我们必须先把数据准备好。 上面的数据是从数据文件中截取的一部分内容，表
转载
2023-09-25 09:40:24
132阅读
Spark学习之RDD编程（2）1. Spark中的RDD是一个不可变的分布式对象集合。2. 在Spark中数据的操作不外乎创建RDD、转化已有的RDD以及调用RDD操作进行求值。3. 创建RDD:1）读取一个外部数据集2）在驱动器程序里分发驱动器程序中的对象集合。4. RDD支持的操作：1）转换操作，由一个RDD生成一个新的RDD。
2）行动操作，对RDD进行计算结果，并把结果返回到驱动器程序中
转载
2024-07-19 23:44:54
50阅读
spark使用scala语言开发的，进行spark开发优先考虑scala语言了。而进行scala程序开发，我们自然得考虑一款好用的IDE，这里推荐IntelliJ IDEA。本次安装环境：win7 64位系统。1、安装jdk下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
转载
2023-12-27 16:57:58
139阅读
：运行Application的main()函数并创建SparkContext。通常SparkContext代表driver programExecutor: 在集群上获得资源的外部服务（例如 Spark Standalon，Mesos、Yarn）Worker Node：被送到executor上执行的工作单元。Job：每个Job会被拆分成很多组Task，每组任务被称为stage，也可称TaskSet
转载
2023-11-18 15:37:09
645阅读
一、数据读写(1)从文件系统加载数据创建RDD ①本地文件：sc.textFile("file:///data/spark/buyer_favorite") ②HDFS文件：sc.textFile("hdfs://localhost:9000/spark/buyer_favorite")(2)通过并行集合创建RDD val array = Array(1,2,3
转载
2023-11-06 13:07:12
87阅读
1、RDD创建1）从集合（内存）中创建 RDD从集合中创建RDD，Spark主要提供了两个方法：parallelize和makeRDD// 创建 Spark 运行配置对象
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("CreateRDD01")
// 创建 Spark 上下文环境对象（连接对象）
转载
2023-08-11 11:02:00
154阅读
Spark编程(一) RDD编程1.RDD创建1.1从文件系统加载数据创建RDD测试如下当前系统中存在一个文件word.txt 位置和内容如下读取成功1.2通过数组创建RDD2.RDD操作2.1 转换操作2.2 行动操作2.3 惰性机制2.4 实例filter操作找出文本文件中单行文本所包含的单词数量最大值还可以用这个语句我觉得简单一点lines.map(_.split(" ").size).ma
转载
2023-09-15 15:32:56
76阅读
