yarn cluster模式例行任务一般会采用这种方式运行指定固定的executor数作业常用的参数都在其中指定了，后面的运行脚本会省略spark-submit \
--master yarn-cluster \
--deploy-mode cluster \ #集群运行模式
--name wordcount_${date} \
转载
2023-07-02 22:53:40
77阅读
使用的开发工具：scala2.10.4、Idea16、JDK8
1.导入依赖的包和源码在下载Spark中到的导入spark的相关依赖了包和其源码.zip,相关源码的下载地址：https://github.com/apache/spark/tree/v1.6.0 地址最后面是对应的版本号，下载源码便于看注释
2.使用官方求Pi的例子[java] view plain
转载
2017-02-04 16:46:00
85阅读
点赞
1评论
首先参考这个编译源码并导入idea然后在run configuration里取消run之前的make然后跑一个SparkPi.scala，会报一些ClassNotFound的错，这时在Examples文件夹右键–> open module settings –> 把相应的Dependencies里改成Runtime如果是SparkPi.scala，在run configuration
原创
2022-07-19 11:25:28
74阅读
从hdfs上读取文件并运行wordcount[root@hadoop14 app]# hadoop fs -put word.txt /
原创
2022-12-28 15:08:13
173阅读
解决方案：一直以来，基于Akka实现的RPC通信框架是Spark引以为豪的主要特性，也是与Hadoop等分布式计算框架对比过程中一大亮点。 但是时代和技术都在演化，从Spark1.3.1版本开始，为了解决大块数据（如Shuffle）的传输问题，Spark引入了Netty通信框架，到了1.6.0版本，
转载
2018-09-27 19:54:00
73阅读
2评论
如何使用java连接Kerberos和非kerberos和kerberos的Spark1.6 ThriftServer
原创
2022-09-21 23:19:06
558阅读
如何部署hive2 on spark1
原创
2022-09-22 13:47:19
154阅读
本文主要介绍如何在Kerberos环境下的CDH集群中部署Spark1.6的Thrift Server服务和Spark SQL客户端。
原创
2022-09-21 23:19:29
237阅读
近年来，Apache Spark作为一款强大的大数据处理框架，被越来越多的企业和开发者所采用。在Spark 1.6版本中，引入了insertInto函数，可以帮助用户将数据插入到已有的表中。本文将详细介绍如何在Spark 1.6中实现insertInto操作，以帮助刚入行的小白顺利掌握这一技能。
整体流程：
| 步骤 | 操作 |
| -------- | -------- |
| 1 | 创
原创
2024-05-07 10:14:59
72阅读
官方定义：spark是一个基于内存的分布式计算框架它会使得计算速度以及开发速度快！特点：One stack rule them all !一站解决所有问题热查询(Hive)批处理(MapReduce)实时流计算(Storm)回顾MapReduce 的 Shuffle过程 见图 hadoop慢的原因：DISK IO 输入输出DISK IO，Shuffle阶段也是DI...
原创
2022-12-30 09:39:08
188阅读
Apache Spark 1.6公布
今天我们很高兴可以公布Apache Spark 1.6，通过该版本号，Spark在社区开发中达到一个重要的里程碑：Spark源代码贡献者的数据已经超过1000人，而在2014年年末时人数仅仅有500。
那么，Spark 1.6有什么新特性呢？Spark 1.6有逾千个补丁。在本博文中，我们将重点突出三个基本的开发主题：性能提升、新的DataSet API和数
转载
2017-07-01 15:17:00
135阅读
2评论
Spark 1.6发布后，官方声称流式状态管理有10倍性能提升。这篇文章会详细介绍Spark Streaming里新的流式状态管理。关于状态管理在流式计算中，数据是持续不断来的，有时候我们要对一些数据做跨周期(Duration)的统计，这个时候就不得
原创
2023-03-11 09:55:14
164阅读
Docker 容器管理* docker create -it centos //这样可以创建一个容器，但该容器并没有启动* docker start container_id //启动容器后，可以使用 docker ps 查看到，有start 就有stop，和restart之前我们使用的docker run 相当于先cr
原创
2016-04-15 22:33:13
655阅读
点赞
本文讲的是Docker 1.6发布：Engine与编排工具更新、Registry 2.0及Windows客户端预览，
【编者的话】Docker 1.6版本发布了，一同发布新版本的还有Registry 2.0、Compose、Swarm、Machine以及Docker Windows客户端，这次的变更很赞，值得一试！
我们很高兴来宣布对Docker Engine、Registry、C
转载
2024-05-10 19:33:06
87阅读
前言大数据与容器是近年来的两个热点技术，大数据平台的容器化部署自然格外被关注。关于Apache Spark的容器化方案，目前使用最多的是sequenceiq/spark，在Docker Hub上有330K的下载量。sequenceiq/spark镜像中包含了Hadoop/Yarn，虽然采用的是一种“伪集群”的部署方式，但是用来做开发和测试还是非常便利的。遗憾的是sequenceiq的更新速度不是很
转载
2023-06-30 19:36:27
341阅读
2016年1月4号 Spark 1.6 发布。提出了一个新的内存管理模型： Unified Mem
原创
2023-03-17 20:01:06
81阅读
用df.write.mode(SaveMode.Overwrite).saveAsTable(“XXX”)
原创
2022-07-19 11:45:46
58阅读
K8S关键词【k8s 1.6 docker 安装】
文章标题：Kubernetes（K8S） 1.6 版本及Docker的安装教程
摘要：本文将介绍如何在Kubernetes（K8S）1.6版本中安装Docker。我将向你展示整个过程，并提供每个步骤所需的代码示例。通过本文，你将学会如何在K8S中安装Docker，并为你的开发工作提供便利。
目录：
1. 准备工作
2. 安装Docker
3
原创
2024-01-18 09:21:33
95阅读
>>> int("1.6") Traceback (most recent call last): File "", line 1, in ValueError: invalid literal for int() with base 10: '1.6' >>> float("1.6") 1.6 >>>
转载
2019-07-15 14:41:00
474阅读
2评论
## Spark on Docker: 用容器化技术加速大数据处理
在现代数据处理领域中，大数据框架Apache Spark的重要性不言而喻。它提供了高效的分布式计算能力，使得处理大规模数据变得更加容易和高效。然而，为了使用Spark，我们通常需要在各个节点上配置和管理Spark集群，这可能会带来一定的复杂性和挑战。
幸运的是，通过使用Docker等容器化技术，我们可以简化Spark集群的部署
原创
2023-11-08 04:48:45
18阅读
