yarn cluster模式例行任务一般会采用这种方式运行指定固定的executor数作业常用的参数都在其中指定了，后面的运行脚本会省略spark-submit \
--master yarn-cluster \
--deploy-mode cluster \ #集群运行模式
--name wordcount_${date} \
转载
2023-07-02 22:53:40
77阅读
使用的开发工具：scala2.10.4、Idea16、JDK8
1.导入依赖的包和源码在下载Spark中到的导入spark的相关依赖了包和其源码.zip,相关源码的下载地址：https://github.com/apache/spark/tree/v1.6.0 地址最后面是对应的版本号，下载源码便于看注释
2.使用官方求Pi的例子[java] view plain
转载
2017-02-04 16:46:00
85阅读
点赞
1评论
首先参考这个编译源码并导入idea然后在run configuration里取消run之前的make然后跑一个SparkPi.scala，会报一些ClassNotFound的错，这时在Examples文件夹右键–> open module settings –> 把相应的Dependencies里改成Runtime如果是SparkPi.scala，在run configuration
原创
2022-07-19 11:25:28
74阅读
从hdfs上读取文件并运行wordcount[root@hadoop14 app]# hadoop fs -put word.txt /
原创
2022-12-28 15:08:13
173阅读
解决方案：一直以来，基于Akka实现的RPC通信框架是Spark引以为豪的主要特性，也是与Hadoop等分布式计算框架对比过程中一大亮点。 但是时代和技术都在演化，从Spark1.3.1版本开始，为了解决大块数据（如Shuffle）的传输问题，Spark引入了Netty通信框架，到了1.6.0版本，
转载
2018-09-27 19:54:00
73阅读
2评论
如何使用java连接Kerberos和非kerberos和kerberos的Spark1.6 ThriftServer
原创
2022-09-21 23:19:06
558阅读
本文主要介绍如何在Kerberos环境下的CDH集群中部署Spark1.6的Thrift Server服务和Spark SQL客户端。
原创
2022-09-21 23:19:29
237阅读
近年来，Apache Spark作为一款强大的大数据处理框架，被越来越多的企业和开发者所采用。在Spark 1.6版本中，引入了insertInto函数，可以帮助用户将数据插入到已有的表中。本文将详细介绍如何在Spark 1.6中实现insertInto操作，以帮助刚入行的小白顺利掌握这一技能。
整体流程：
| 步骤 | 操作 |
| -------- | -------- |
| 1 | 创
原创
2024-05-07 10:14:59
72阅读
官方定义：spark是一个基于内存的分布式计算框架它会使得计算速度以及开发速度快！特点：One stack rule them all !一站解决所有问题热查询(Hive)批处理(MapReduce)实时流计算(Storm)回顾MapReduce 的 Shuffle过程 见图 hadoop慢的原因：DISK IO 输入输出DISK IO，Shuffle阶段也是DI...
原创
2022-12-30 09:39:08
188阅读
Spark是一种快速、通用、可扩展的大数据处理引擎，可以通过Hadoop调度作业。它提供了丰富的API，支持Java、Scala、Python和R语言。Eclipse是一个非常流行的集成开发环境（IDE），可以用于开发各种类型的应用程序。Linux是一个开源的操作系统，可以运行于各种不同的硬件平台上。在本文中，我们将探讨如何在Linux操作系统上使用Eclipse来开发和调试Spark应用程序。
原创
2024-04-17 11:38:43
89阅读
http://subclipse.tigris.org/update_1.6.xeclips3.4 安装svn 1.6：在myeclipse目录中创建一下文件目录\MyEclipse 7.0 M2\eclipse\dropins\svn\eclipse\将下载回来的subclipse1.6解压到\MyEclipse 7.0 M2\eclipse\dropins\svn\eclipse\目录中然后删...
转载
2010-06-05 13:43:00
130阅读
2评论
Apache Spark 1.6公布
今天我们很高兴可以公布Apache Spark 1.6，通过该版本号，Spark在社区开发中达到一个重要的里程碑：Spark源代码贡献者的数据已经超过1000人，而在2014年年末时人数仅仅有500。
那么，Spark 1.6有什么新特性呢？Spark 1.6有逾千个补丁。在本博文中，我们将重点突出三个基本的开发主题：性能提升、新的DataSet API和数
转载
2017-07-01 15:17:00
135阅读
2评论
Spark 1.6发布后，官方声称流式状态管理有10倍性能提升。这篇文章会详细介绍Spark Streaming里新的流式状态管理。关于状态管理在流式计算中，数据是持续不断来的，有时候我们要对一些数据做跨周期(Duration)的统计，这个时候就不得
原创
2023-03-11 09:55:14
164阅读
安装spark，见上文http://blackproof.iteye.com/blog/2182393 配置window开发环境window安装scala下载scala http://www.scala-lang.org/files/archive/scala-2.10.4.msi安装即可 window配置eclipse下载eclipse http://d
原创
2023-04-21 01:08:21
84阅读
工具准备：JDK1.6
===【1】======================================================
JDK 1.6.0_24 官网下载地址
https://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_Developer-Site/en_US/-/USD/ViewFilteredProduct
原创
2011-07-31 15:55:47
1120阅读
想要调试源码，还是要放到eclipse里面去。先生成eclipse项目，下载依赖包victor@victor-ubuntu:~/software/incubator-spark-0.8.1-incubating$ mvn eclipse:eclipse[INFO] Scanning for proj...
转载
2015-03-27 17:46:00
158阅读
2评论
Eclipse3.6 + Tomcat7 + Jdk1.6配置 管理Eclipse上的tomcat的插件Sysdeo Eclipse Tomca
原创
2023-06-27 16:53:48
124阅读
环境：spark1.4.0,hadoop2.6.01.安装好jdk2.在spark的conf目录下找到spark-env.sh.template，打开，在后面加上export SCALA_HOME=/home/jiahong/scala-2.11.6export JAVA_HOME=/home/ji...
原创
2021-09-04 10:52:31
499阅读
