1.spark on yarn import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ /** * Created by zzy on 8/27/15. */ object SaprkOnYarn { def main(args: Array[String]) { if(args....
原创
2021-07-29 10:54:43
94阅读
RDD看起来好像很抽象，但我的理解就是类似于我们自己写一个java程序，会编写一个数据模型的类来组织我们的数据一样，RDD其实就是Spark中的数据模型，也就是Spark自己编写的类，RDD有三个必不可少的部分：（1）RDD对其他RDD的依赖，即血系图；（2）分区列表；（3）针对分区的计算函数；（1）RDD对其他RDD的依赖1.1 RDD中pe
转载
2024-09-23 09:51:08
47阅读
Spark UIExecutorsEnvironmentStorageSQLExchangeSortAggregateJobsStagesStage DAGEvent TimelineTask MetricsSummary MetricsTasks 展示 Spark UI ，需要设置配置项并启动 History Server# SPARK_HOME表示Spark安装目录
${SPAK_HOME
转载
2023-08-11 15:21:58
287阅读
点赞
spark 参数详解spark参数配置优先级：SparkConf > CLI > spark-defaults.conf > spak-env.sh查看Spark属性：在 http://<driver>:4040 上的应用程序Web UI在 Environment 标签中列出了所有的Spark属性。spark-defaults.conf:(1) spark.maste
转载
2023-09-16 14:13:59
596阅读
上一篇已经把服务器的Openfire环境搭建好了，现在我们就可以来搭建应用App的环境了这样就可以使用Smack的API来与服务器进行通信了。一：继续去igniterealtime下载Smack的jar包和Spark.exe二：Spak，第一次使用需要设置点东西，不然登录不上。点击进入高级，将倒数第三，第二个勾上这样就可以登录了（至于为什么自己领悟吧 ^_^） 现在我们随便登录一个帐号，域名填写你
转载
2024-01-17 09:40:19
49阅读
