一、spark1.x （1）引入内存计算的理念解决中间结果落盘导致的效率低下。早期官网中给出数据，在理想状况下，性能可达到MR的100倍 （2）支持丰富的API，支持多种编程语言，如python、scala、java、R等，代码量减少5倍以上，并且受众群体更广 （3）提供一站式的解决方案，同时支持离线、微批、图计算和机器学习 （4）支持多部署模式：支持Standalone、Cluster等多种模式
转载
2023-08-10 15:29:33
61阅读
一、Spark 1.4.x的新特性1、Spark Core
1.1 提供REST API供外界开发者获取Spark内部的各种信息（jobs / stages / tasks / storage info），基于这些API，可以搭建自己的Spark监控系统。
1.2 shuffle阶段，默认将map端写入磁盘的数据进行序列化，优化io性能。
1.3 钨丝计划（Project Tungst
转载
2023-08-13 14:49:24
61阅读
1.安装Spark之前需要先安装Java，Scala及Python(个人喜欢用pyspark，当然你也可以用原生的Scala)首先安装Java jdk：我们可以在Oracle的官网下载Java SE JDK，下载链接：http://www.oracle.com/technetwork/java/javase/downloads/index.html。最好是下载最新版本，下载完解压，配置环境变量等，
转载
2023-08-02 20:29:29
85阅读
还没来得及去跑，先记下来。spark 1.3 出来dataframespark 1.4 出来sparkRspark 1.5 出来机器学习的pipeline 数据科学API之扩展 在2015年，Spark研究的主要致力于加强大规模数据科学研究。其中主要包括这三大方面：DataFrame、机器学习流水线、R语言支持。这三个部分所新增的API均有效的运行在Spark
转载
2023-10-14 12:53:11
94阅读
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。Apache Spark社区刚刚发布了1.5版本，明略数据高级工程师梁堰波解析了该版本中的众多新特性，同时梁堰波也是QCon上海《基于大数据的机器学习技术》专题的讲师，他将分享《基于机器学习的银行卡消费数据预测与推荐》的
Spark1.5堆内存分配
这是spark1.5及以前堆内存分配图
下边对上图进行更近一步的标注，红线开始到结尾就是这部分的开始到结尾
spark 默认分配512MB JVM堆内存。出于安全考虑和避免内存溢出，Spark只允许我们使用堆内存的90%，这在spark的spark.s
转载
2023-11-16 19:50:37
64阅读
spark1.5发布了，赶紧去下了源码尝鲜git clone git://github.com/apache/spark.git -b branch-1.5输入命令进行编译./make-distribution.sh --tgz -Phadoop-2.4 -Pyarn -Dskip...
转载
2015-09-11 13:38:00
153阅读
spark1.5发布了，赶紧去下了源码尝鲜git clone git://github.com/apache/spark.git -b branch-1.5输入命令进行编译./make-distribution.sh --tgz -Phadoop-2.4 -Pyarn -Dskip...
转载
2015-09-11 13:38:00
101阅读
2评论
一、Spark 1.4.x的新特性 1、Spark Core
1.1 提供REST API供外界开发者获取Spark内部的各种信息（jobs / stages / tasks / storage info），基于这些API，可以搭建自己的Spark监控系统。
1.2 shuffle阶段，默认将map端写入磁盘的数据进行序列化，优化io性能。
1.3 钨丝计划（Project Tung
转载
2023-08-22 22:13:01
40阅读
说明：本翻译基本遵照Spark的官方翻译，但是某些不太顺口的地方还是做了一下处理，请原谅我poor的外语能力。官网链接：http://spark.apache.org/docs/latest/quick-start.html使用Spark Shell进行交互分析基本操作Spark的shell提供了一种简单的方式来学习Api，同时它也是一个强大的具有交互功能的数据分析工具。无论是Python还是Sc
转载
2024-01-03 11:09:30
451阅读
下面是我在spark user list的求助贴,很快就得到了正确回答，有遇到问题的同学解决不了也可以去上面提问。I can use it under spark1.4.1,but error on spark1.5.1,how to deal with this problem...
转载
2015-10-13 10:58:00
189阅读
2评论
# Java版本和源码兼容性
Java作为一门流行的编程语言，经历了多个版本的发展和演变。每个版本都引入了新的语言特性和改进，以提供更强大的功能和更好的性能。然而，这也带来了一个问题：代码在不同的Java版本中是否具有兼容性？
## Java的版本号
Java的版本号由三部分组成，分别是主版本号、次版本号和更新版本号，形如`主版本号.次版本号.更新版本号`。例如，Java 8的版本号是1.8
原创
2023-07-17 19:18:04
96阅读
Building with build/mvn · Building a Runnable Distribution · Setting up Maven’s Memory U
转载
2021-08-11 16:16:21
340阅读
一，只做一次的事情hadoop，spark，scala，maven，scala插件，1，下载hadoop，scala，spark，jdk。版本要适配，下面为一组搭配。下载后解压，然后配置环境变量hadoop-2.7.0scala-2.11.12spark-2.4.0JDK 1.8.0配置scala 环境变量 和 配置JDK环境变量 一样 系统变量新增 ： &n
转载
2023-10-11 23:48:57
79阅读
如何一步一步地在Intellij IDEA使用Maven搭建spark开发环境，并基于scala编写简单的spark中wordcount实例。1.准备工作 首先需要在你电脑上安装jdk和scala以及开发工具Intellij IDEA，本文中使用的是win7系统，环境配置如下：jdk1.7.0_15 scala2.10.4scala官网下载地址：http://www.scala-lang.or
# Spark Idea 实现流程和代码解析
## 引言
欢迎来到 Spark Idea 的开发者教程！在本篇文章中，我将向你介绍如何使用 Spark Idea 来实现一个项目。作为一名经验丰富的开发者，我将指导你完成从头到尾的整个过程。
## 流程图示
下面是 Spark Idea 实现的整个流程图示。我们将按照这个流程一步步进行操作。
```mermaid
classDiagram
原创
2023-12-11 10:21:18
22阅读
idea scala环境配置以及在idea中运行第一个Scala程序
idea scala环境配置、运行第一个Scala程序1、环境jdk推荐1.8版本2、下载Scala
推荐安装版本，不用自己手动配置环境变量scala版本要与虚拟机上提示相一致3、创建 IDEA 工程4、增加 Scala 支持右击项目Add Framework Support前提是安装
转载
2023-06-26 17:06:17
209阅读
IDEA连接spark集群写在前面一、安装Scala插件二、新建一个Maven项目三、编写pom.xml文件四、导入Scala环境五、导入spark的jar包六、编写Scala程序并提交给集群 写在前面我所使用的spark集群是基于docker搭建的，一共三个节点，一个master和两个slave，安装过程参考我之前的博客 宿主机使用的是windows10专业版一、安装Scala插件 搜索Sc
转载
2023-07-13 13:33:27
149阅读
1. 开发环境搭建最近在学习scala，除需要编写scala程序外，同时还需要创建maven工程，打成Jar包，而Eclipse在这方面显得使用的不是那么方面，同时由于 提供了非常智能的提示功能，所以选择作为开发环境。 现在也提供社区版本供开发者免费使用，所以许多原来的Eclipse用户也逐渐的转向，一方面
转载
2024-07-22 11:06:23
40阅读
Intellij IDEA新建Spark2.0以上Maven工程示例长时间不用IDEA新建工程，新建的步骤都忘记了，再次记录一下，Spark新版中SparkSession需要依赖的包与SparkContext不一样，需要导入的jar包也是不同的。这里需要安装Java的JDK，新建工程会用到。首先，新建工程New -> Project 选择Maven工程，选择JDK版本 命名GroupId和A
转载
2024-08-16 13:35:38
388阅读
