SparkStream流计算Spark StreamingDStream的操作imput DStream（基本输入源）DStream转换操作——无状态、有状态无状态操作：有状态操作：滑动窗口转换操作：updateStateByKey操作DStream输出操作Structured Streaming 流计算大量、快速、时变、持续到达特征：
数据快速持续到达数据来源多，格式复杂数据量大注重数据
转载
2024-07-16 19:53:35
42阅读
编程题：rddobj=sc. textFile("d: /words. txt"). flatMap(_ .split("")) . map((_ _,1)). reduceByKey(_+_ .)
rddobj . foreach(println)1.(1.5分)单选题 1.5 下列选项中，哪个不属于消息系统（）。A Kafka B RabbitMQ C ActiveMQ D Zookeeper
转载
2023-11-16 05:14:02
3013阅读
一、面试题Spark
通常来说，Spark与MapReduce相比，Spark运行效率更高。请说明效率更高来源于Spark内置的哪些机制？hadoop和spark使用场景？spark如何保证宕机迅速恢复?hadoop和spark的相同点和不同点？RDD持久化原理？checkpoint检查点机制？checkpoint和持久化机制的区别？RDD机制理解吗？Spark streaming以及基本工作原理
转载
2023-07-18 22:56:42
78阅读
文章目录1．pyspark交互式编程（1）该系总共有多少学生；（2）该系共开设了多少门课程；（3）Tom同学的总成绩平均分是多少；（4）求每名同学的选修的课程门数；（5）该系DataBase课程共有多少人选修；（6）各门课程的平均分是多少；（7）使用累加器计算共有多少人选了DataBase这门课。2.编写独立应用程序实现数据去重1.环境准备2.假设当前目录为/usr/local/spark/my
转载
2024-08-16 13:50:34
210阅读
http和https有什么区别？答：http是超文本传输协议，默认端口是80。https是安全的默认端口是443；http是明文传输，存在安全隐患，Https在Http的基础上增加了SSL/TLS协议，需要依靠整数来验证服务器身份，并且对服务器与客户端之间的传输进行通信加密。https协议需要到ca申请证书，一般免费证书很少，需要交费。Http不需要get和post有什么区别？答：一、功能不同1、
转载
2024-09-09 13:50:29
37阅读
一、题目：现有一份汽车销售记录，销售记录月、市、区县、品牌、车辆类型、使用性质和数量7列按步骤完成如下操作（建议在Spark-shell中完成）：使用SparkSQL完成 （1）将汽车销售记录上传至HDFS；数据如下：3,朔州区,朔城区,五菱,小型普通客车,非运营,1
3,晋城区,城区,东风,小型普通客车,非运营,1
12,长治市,长治城区,北京,小型普通客车,非运营,1
12,长治市,长治城区,
转载
2023-12-15 13:55:03
66阅读
任务描述本关任务：编写Spark独立应用程序实现求平均值。 相关知识为了完成本关任务，你需要掌握：RDD的创建；RDD的转换操作；RDD的行动操作。 RDD的创建使用textFile()方法从本地文件系统中加载数据创建RDD，示例如下：
val lines = sc.textFile("file:///home/hadoop/word.txt")
执行sc.textFile()方法以后
转载
2024-07-16 11:42:52
40阅读
Spark算子--Scala版本第1关 Spark算子--Scala版本编程要求根据提示，在右侧编辑器begin-end处补充代码，输出每个元素及其长度并去重。测试说明平台会对你编写的代码进行测试：预期输出： (an,2)` `(dog,3)` `(cat,3) 开始你的任务吧，祝你成功！ import org.apache.spark.rdd.RDD
import org.apache.spa
转载
2023-12-19 05:26:21
67阅读
@[TOC](SPARK试题汇总)# 选择题 Scala中定义常量使用关键字 ？ A. val B. var C. object D. final for(i<-1 to 4;j<-0 to 3 if(i\==j)) print(j)的输出是？ A. 1234 B. 0123 C. 234 D. 123 scala中val x,y
转载
2023-12-24 10:54:21
310阅读
Spark Streaming运行流程源码解析
Spark Streaming源码流程解析。目录写在前面开干启动流处理引擎StreamingContext的创建outputOperator算子注册StreamingContext的启动接收并存储数据Driver端ReceiverTracker的操作Executor端ReceiverSupervisor的操
转载
2023-06-25 23:01:16
0阅读
一、为什么需要调优一般情况在实际的生产环境中编写代码会有各种各样的事情发生，比如说赶项目，所以留给程序猿的时间并不是很多，有时候还要面临需求方催进度或给领导进行汇报等等原因，造成在开发初期的时候一味的只是追求代码的功能实现，所以在易用性和性能上会比较差一些，所以在后期会对原有的代码进行性能调优和代码进行维护升级、优化、重构等等（ps：要不然性能低下的话真的是把人给“搞死”了，尤其是在大数据领域）。
转载
2023-12-31 21:45:54
53阅读
练习一：val rdd = sc.parallelize(List("dog","an","cat","an","cat"))第一步：通过获取rdd中每个元素的长度创建新的rdd1第二步：通过zip把rdd1和rdd组合创建rdd2第三步：去重第四步：输出结果val rdd = sc.parallelize(List("dog","an","cat","an","ca
转载
2024-03-06 23:15:05
67阅读
spark面试题1.spark的RDD是什么，有哪些特性RDD（Resilient Distributed Dataset）叫做分布式数据集，是spark中最基本的数据抽象，它代表一个不可变，可分区，里面的元素可以并行计算的集合。Resilient弹性的：RDD中的数据可以存储在内存或者磁盘中。RDD中的分区是可以改变的。Distributed分布式，可以并行在集群计算。Dataset用于存放数据
转载
2023-09-25 11:20:19
55阅读
第一章 Spark 性能调优1.1 常规性能调优1.1.1 常规性能调优一：最优资源配置Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。资源的分配在使用脚本提交Spa
转载
2024-07-17 15:30:54
61阅读
Spark-SQL的Java实践案例(四)数据源:(读取与存储数据,JDBC服务器)这章我们来搞 数据源:(读取与存储数据,JDBC服务器)sparkSQL支持很多种结构化的数据源,并且把内部复杂的细节都封装了起来,方便我们从各种数据源轻松的获取Row对象数据源包括但不限:parquet,hive表,JSON等等而且当我们使用SQL查询数据源中的数据,并且只用到了一部分字段的时候,sparkSQL
转载
2023-11-13 12:47:37
63阅读
通过学习Spark源码为了更深入的了解Spark。主要按照以下流程进行Spark的源码分析，包含了Spark集群的启动以及任务提交的执行流程：Spark RPC分析start-all.shMaster启动分析Work启动分析spark-submit.sh脚本分析SparkSubmit分析SparkContext初始化5.spark-submit.sh脚本分析通过spark-submit.sh提交任
转载
2023-11-09 10:45:51
77阅读
1.Spark Streaming 代码分析： 1.1 示例代码DEMO： 实时计算的WorldCount：import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.StreamingContext._
import org.apache.spark
转载
2023-08-27 22:35:17
41阅读
一、准备好所需要的文件 1、打包好的wordFreqFileSpark-0.1-jar-with-dependencies.jar 2、自己编写好的run.sh脚本文件 例子： &nb
转载
2024-08-14 16:05:07
37阅读
回归算法细说回归算法概念1.什么是回归算法2.线性回归3.公式推导常见回归算法目标函数回归算法案例附加扩展内容过拟合：简单来说 就是训练的模型时过分的依赖训练数据欠拟合:训练的模型不足以表达数据的关系模型效果判断梯度下降算法 回归算法概念1.什么是回归算法回归算法是一种有监督算法回归算法是一种比较常用的机器学习算法，用来建立“解释”变量(自变量X)和观测值(因变量Y)之间的关系；从机器学习的角度
转载
2024-01-08 12:29:59
73阅读
# 实现“spark sql sql题”的步骤
## 整体流程
```mermaid
journey
title 教会小白实现“spark sql sql题”
section 分析问题
小白不知道如何实现“spark sql sql题”
section 指导操作
小白学习并实践
section 完成任务
小白掌握“
原创
2024-03-06 04:15:50
39阅读
