一、sparkContext与sparkSession区别任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数,sparkContext只能在driver机器上面启动;SparkSession： SparkSession实质上是SQLContext和HiveContext的组合，S
转载
2023-07-15 12:20:37
55阅读
一、上次课回顾二、IDEA整合Maven搭建Spark开发环境三、词频统计案例开发及上传jar包到服务器并准备测试数据四、提交Spark应用程序运行五、词频统计案例迭代之输出结果到HDFS六、词频统计案例迭代之处理多个输入文件七、词频统计案例之输入文件规则匹配八、带排序的词频统计案例开发及执行过程剖析九、带排序的词频统计案例spark-shell快速测试## 一、上次课回顾上次课博客总结： 1、若
转载
2023-11-06 13:41:02
74阅读
1.spark集群的开启1）在hadoop的sbin目录下使用start-dfs.sh和start-yarn.sh命令开启dfs集群；2）在spark的sbin目录下使用start-master.sh和start-slaves.sh命令开启Master和Worker；3）在hadoop的sbin目录下使用mr-jobhistory-daemon.sh start historyserver开启ya
转载
2023-06-20 09:38:06
93阅读
一、spark所在目录cd usr/local/spark二、启动spark/usr/local/spark/sbin/start-all.sh启动Hadoop以**及Spark：bash ./starths.sh浏览器查看：172.16.31.17:8080停止Hadoop以及Sparkbash ./stophs.sh三、基础使用1.运行Spark示例（SparkPi）在 ./examples/
转载
2023-06-25 13:12:52
55阅读
前言Kylin 用户在使用 Spark的过程中，经常会遇到任务提交缓慢、构建节点不稳定的问题。为了更方便地向 Spark 提交、管理和监控任务，有些用户会使用 Livy 作为 Spark 的交互接口。在最新的 Apache Kylin 3.0 版本中，Kylin 加入了通过 Apache Livy 递交 Spark 任务的新功能[KYLIN-3795]，特此感谢滴滴靳国卫同学对此功能的贡献。&nb
转载
2024-08-10 11:53:23
25阅读
本帖最后由 Ay丶暗影 于 2020-2-29 16:10 编辑分几个情况来讲：1，上去之后，十分钟以内必定被踢下线，再次上账号后发现被封原因：一般是账号有问题，无限小号登录器和不明来源的黑号，百分百会出现这种情况。额外的情况：RP不好。解决办法：换好一点的账号，或者手机注册2，为什么我每次上号后，什么也没有做，它照样封我号?原因：当前机器的环境有问题，它识别出这是一台不干净的机器，于是封号。解决
Spark 简介及RDD的使用一、Spark 介绍1.1 spark简介1.2 MapReduce VS Spark1.3 计算流程二、Spark 开发环境构建引入开发所需依赖2.1 SparkRDDWordCount(本地)2.2 集群(yarn)2.3 集群(standalone)三、RDD 理论3.1 RDD概述3.2 RDD的获取3.2.1 通过读取文件生成的3.2.2 从集合中创建RD
转载
2024-06-19 20:57:31
39阅读
问题导读 1.Spark可以在哪三个地方配置系统？2.如何实现动态加载Spark属性？
Spark可以在三个地方配置系统:
Spark属性控制大部分的应用参数。 这些属性可以通过SparkConf对象, 或者Java系统属性. 环境变量可以为每台机器配置，比如IP地址， 通过每个节点上的conf/spark-env.sh脚本. 可同通过log4j.properties配置日志.Spar
转载
2023-06-19 09:58:56
118阅读
安装IDEA及打包-常见问题 https://yq.aliyun.com/articles/60346?spm=5176.8251999.569296.68 版本问题很重要,修改版本后注意新建项目的时候版本也得匹配 参考https://www.zhihu.com/question/34099679 1. 安装scala插件 2. 新建项目选择scala-jdk-scala 3. 项目结构
转载
2023-06-19 09:57:47
82阅读
spark Steaming、spark ml等命令，最终都会转换成spark-core的组件命令来执行spark RDD是 spark-core组件的数据结构、或叫数据模型、数据抽象Resilient Distributed Dataset基本概念
弹性分布式数据集是spark的数据抽象是一个不可变、可分区、里面元素可并行计算的合集可以看做是对一堆数据的打包，就是一个RDD，也可以说
转载
2023-12-27 11:42:41
57阅读
前言Flex开发移动应用时，出于性能考虑，需要使用AS3编写组件Skin，而不是使用MXML。实际上，通过使用AS3编写组件皮肤，开发者可以更深入的了解Flex的组件生命周期，无论是对于移动应用开发还是传统的桌面或者Web应用开发，都大有裨益。 本文通过一个实例，来展示如何使用AS3开发一个Spark组件和对应的移动组件Skin，更重要的是解释与之相关的Spark组件生命周期知识。关于本系列文章S
转载
2023-08-22 19:52:54
37阅读
前面经过部署之后，Spark就可以用了。 怎么用呢？ 可以有两个办法： 1.直接在shell中调用Spark提供的API方法，去做一些运算。 2.通过Scala，Java或者Python等语言的
转载
2023-08-09 20:56:35
159阅读
1.美图 在讲flink的back pressure之前，我们先讲讲Spark Streaming的back pressure。Spark Streaming的back pressure出现的原因呢，我想大家应该都知道，是为了应对短期数据尖峰。Spark Streaming的back pressure是从spark 1.5以后引入的，在之前呢，只能通过限制最大消费速度（这个要人为压测预估），对于基
转载
2023-08-31 19:54:06
73阅读
文章目录sparkcore1.rdd是不可变的，只能通过计算/操作得到一个新的rdd2.rdd五大特性：3.创建rdd的三种方式：4.saprk中落地文件的个数和什么有关系：5.转换算子和action算子有什么区别：6.常用的转换算子：7.常用的action算子：8.sparkcore核心概念：9.spark执行流程：10.spark执行架构补充：每个spark作业都有自己的executor进程
转载
2024-01-26 08:48:59
50阅读
一个task对应一个partition，一个job(工作)对应多个task(任务)，相当于一个job处理多个partition spark分为资源调度和任务调度 一、spark资源调度过程(基于standalone资源调度) 1.启动相应的资源(./start -all.sh)，启动后所有的worker会向master汇报自己的资源情况。这时master会清楚所有的资源状况 2.var conf
转载
2024-05-28 19:32:45
26阅读
1，简介Driver 是什么，看一下官方给的解释： The process running the main() function of the application and creating the SparkContext。 意思是运行应用程序的main函数并且创建SparkContext的进程。这里的应用程序就是我们自己编写并提交给Spark集群的程序。上图是Spark程序运行的框架图，总
转载
2023-11-07 08:27:49
71阅读
前言Flex开发移动应用时，出于性能考虑，需要使用AS3编写组件Skin，而不是使用MXML。实际上，通过使用AS3编写组件皮肤，开发者可以更深入的了解Flex的组件生命周期，无论是对于移动应用开发还是传统的桌面或者Web应用开发，都大有裨益。 本文通过一个实例，来展示如何使用AS3开发一个Spark组件和对应的移动组件Skin，更重要的是解释与之相关的Spark组件生命周期知识。关于本系列文章S
转载
2023-08-29 16:55:42
84阅读
6月29日，Doris有幸得到中国信通院云大所、大数据技术标准推进委员会的支持，在中国信通院举行了0.11.0新版本预览线下沙龙。各位嘉宾都带来了干货满满的分享。关注Doris官方公众号，后台回复“0629”即可获取各位嘉宾分享PPT及现场录像。 今天是朱良昌同学代表百度智能云流式计算团队带来Spark Streaming对接Doris 设计与实现的分享。 业务场景
Spark算子的作用 下图描述了Spark在运行转换中通过算子对RDD进行转换。 算子是RDD中定义的函数，可以对RDD中的数据进行转换和操作。 输入：在Spark程序运行中，数据从外部数据空间（如分布式存储：textFile读取HDFS等，parallelize方法输入Scala集合或数据）输入Spark，数据进入Spark运行时数据空间，转化为Spark中的数据块，通过BlockM
转载
2023-11-21 21:23:27
78阅读
一、Transformationspark 常用的 Transformation 算子如下表：Transformation 算子Meaning（含义）map(func)对原 RDD 中每个元素运用 func 函数，并生成新的 RDDfilter(func)对原 RDD 中每个元素使用func 函数进行过滤，并生成新的 RDDflatMap(func)与 map 类似，但是每一个输入的 item 被
转载
2024-06-12 14:20:09
39阅读
