使用的开发工具：scala2.10.4、Idea16、JDK8
1.导入依赖的包和源码在下载Spark中到的导入spark的相关依赖了包和其源码.zip,相关源码的下载地址：https://github.com/apache/spark/tree/v1.6.0 地址最后面是对应的版本号，下载源码便于看注释
2.使用官方求Pi的例子[java] view plain
转载
2017-02-04 16:46:00
85阅读
点赞
1评论
首先参考这个编译源码并导入idea然后在run configuration里取消run之前的make然后跑一个SparkPi.scala，会报一些ClassNotFound的错，这时在Examples文件夹右键–> open module settings –> 把相应的Dependencies里改成Runtime如果是SparkPi.scala，在run configuration
原创
2022-07-19 11:25:28
74阅读
yarn cluster模式例行任务一般会采用这种方式运行指定固定的executor数作业常用的参数都在其中指定了，后面的运行脚本会省略spark-submit \
--master yarn-cluster \
--deploy-mode cluster \ #集群运行模式
--name wordcount_${date} \
转载
2023-07-02 22:53:40
77阅读
从hdfs上读取文件并运行wordcount[root@hadoop14 app]# hadoop fs -put word.txt /
原创
2022-12-28 15:08:13
173阅读
解决方案：一直以来，基于Akka实现的RPC通信框架是Spark引以为豪的主要特性，也是与Hadoop等分布式计算框架对比过程中一大亮点。 但是时代和技术都在演化，从Spark1.3.1版本开始，为了解决大块数据（如Shuffle）的传输问题，Spark引入了Netty通信框架，到了1.6.0版本，
转载
2018-09-27 19:54:00
73阅读
2评论
如何使用java连接Kerberos和非kerberos和kerberos的Spark1.6 ThriftServer
原创
2022-09-21 23:19:06
558阅读
如何部署hive2 on spark1
原创
2022-09-22 13:47:19
154阅读
本文主要介绍如何在Kerberos环境下的CDH集群中部署Spark1.6的Thrift Server服务和Spark SQL客户端。
原创
2022-09-21 23:19:29
237阅读
近年来，Apache Spark作为一款强大的大数据处理框架，被越来越多的企业和开发者所采用。在Spark 1.6版本中，引入了insertInto函数，可以帮助用户将数据插入到已有的表中。本文将详细介绍如何在Spark 1.6中实现insertInto操作，以帮助刚入行的小白顺利掌握这一技能。
整体流程：
| 步骤 | 操作 |
| -------- | -------- |
| 1 | 创
原创
2024-05-07 10:14:59
72阅读
官方定义：spark是一个基于内存的分布式计算框架它会使得计算速度以及开发速度快！特点：One stack rule them all !一站解决所有问题热查询(Hive)批处理(MapReduce)实时流计算(Storm)回顾MapReduce 的 Shuffle过程 见图 hadoop慢的原因：DISK IO 输入输出DISK IO，Shuffle阶段也是DI...
原创
2022-12-30 09:39:08
188阅读
如何一步一步地在Intellij IDEA使用Maven搭建spark开发环境，并基于scala编写简单的spark中wordcount实例。1.准备工作 首先需要在你电脑上安装jdk和scala以及开发工具Intellij IDEA，本文中使用的是win7系统，环境配置如下：jdk1.7.0_15 scala2.10.4scala官网下载地址：http://www.scala-lang.or
一，只做一次的事情hadoop，spark，scala，maven，scala插件，1，下载hadoop，scala，spark，jdk。版本要适配，下面为一组搭配。下载后解压，然后配置环境变量hadoop-2.7.0scala-2.11.12spark-2.4.0JDK 1.8.0配置scala 环境变量 和 配置JDK环境变量 一样 系统变量新增 ： &n
转载
2023-10-11 23:48:57
79阅读
# Spark Idea 实现流程和代码解析
## 引言
欢迎来到 Spark Idea 的开发者教程！在本篇文章中，我将向你介绍如何使用 Spark Idea 来实现一个项目。作为一名经验丰富的开发者，我将指导你完成从头到尾的整个过程。
## 流程图示
下面是 Spark Idea 实现的整个流程图示。我们将按照这个流程一步步进行操作。
```mermaid
classDiagram
原创
2023-12-11 10:21:18
22阅读
Intellij IDEA新建Spark2.0以上Maven工程示例长时间不用IDEA新建工程，新建的步骤都忘记了，再次记录一下，Spark新版中SparkSession需要依赖的包与SparkContext不一样，需要导入的jar包也是不同的。这里需要安装Java的JDK，新建工程会用到。首先，新建工程New -> Project 选择Maven工程，选择JDK版本 命名GroupId和A
转载
2024-08-16 13:35:38
388阅读
idea scala环境配置以及在idea中运行第一个Scala程序
idea scala环境配置、运行第一个Scala程序1、环境jdk推荐1.8版本2、下载Scala
推荐安装版本，不用自己手动配置环境变量scala版本要与虚拟机上提示相一致3、创建 IDEA 工程4、增加 Scala 支持右击项目Add Framework Support前提是安装
转载
2023-06-26 17:06:17
209阅读
1. 开发环境搭建最近在学习scala，除需要编写scala程序外，同时还需要创建maven工程，打成Jar包，而Eclipse在这方面显得使用的不是那么方面，同时由于 提供了非常智能的提示功能，所以选择作为开发环境。 现在也提供社区版本供开发者免费使用，所以许多原来的Eclipse用户也逐渐的转向，一方面
转载
2024-07-22 11:06:23
40阅读
文章目录一、Spark概述1.1、Spark官方介绍1.2. Spark特点1.3、激动人心的Spark发展史1.4、Spark为什么会流行1.4.1. 原因1：优秀的数据模型和计算抽象1.4.2. 原因2：完善的生态圈1.4.3. 扩展阅读：Spark VS Hadoop1.5、Spark运行模式第二章 Spark环境搭建2.1. local本地模式-Spark初体验2.1.1. 安装2.1.
转载
2023-07-13 13:34:05
118阅读
IDEA连接spark集群写在前面一、安装Scala插件二、新建一个Maven项目三、编写pom.xml文件四、导入Scala环境五、导入spark的jar包六、编写Scala程序并提交给集群 写在前面我所使用的spark集群是基于docker搭建的，一共三个节点，一个master和两个slave，安装过程参考我之前的博客 宿主机使用的是windows10专业版一、安装Scala插件 搜索Sc
转载
2023-07-13 13:33:27
149阅读
Apache Spark 1.6公布
今天我们很高兴可以公布Apache Spark 1.6，通过该版本号，Spark在社区开发中达到一个重要的里程碑：Spark源代码贡献者的数据已经超过1000人，而在2014年年末时人数仅仅有500。
那么，Spark 1.6有什么新特性呢？Spark 1.6有逾千个补丁。在本博文中，我们将重点突出三个基本的开发主题：性能提升、新的DataSet API和数
转载
2017-07-01 15:17:00
135阅读
2评论
Spark 1.6发布后，官方声称流式状态管理有10倍性能提升。这篇文章会详细介绍Spark Streaming里新的流式状态管理。关于状态管理在流式计算中，数据是持续不断来的，有时候我们要对一些数据做跨周期(Duration)的统计，这个时候就不得
原创
2023-03-11 09:55:14
164阅读
