一、Spark 1.4.x的新特性1、Spark Core
1.1 提供REST API供外界开发者获取Spark内部的各种信息（jobs / stages / tasks / storage info），基于这些API，可以搭建自己的Spark监控系统。
1.2 shuffle阶段，默认将map端写入磁盘的数据进行序列化，优化io性能。
1.3 钨丝计划（Project Tungst
转载
2023-08-13 14:49:24
61阅读
一、spark1.x （1）引入内存计算的理念解决中间结果落盘导致的效率低下。早期官网中给出数据，在理想状况下，性能可达到MR的100倍 （2）支持丰富的API，支持多种编程语言，如python、scala、java、R等，代码量减少5倍以上，并且受众群体更广 （3）提供一站式的解决方案，同时支持离线、微批、图计算和机器学习 （4）支持多部署模式：支持Standalone、Cluster等多种模式
转载
2023-08-10 15:29:33
61阅读
1.安装Spark之前需要先安装Java，Scala及Python(个人喜欢用pyspark，当然你也可以用原生的Scala)首先安装Java jdk：我们可以在Oracle的官网下载Java SE JDK，下载链接：http://www.oracle.com/technetwork/java/javase/downloads/index.html。最好是下载最新版本，下载完解压，配置环境变量等，
转载
2023-08-02 20:29:29
85阅读
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。Apache Spark社区刚刚发布了1.5版本，明略数据高级工程师梁堰波解析了该版本中的众多新特性，同时梁堰波也是QCon上海《基于大数据的机器学习技术》专题的讲师，他将分享《基于机器学习的银行卡消费数据预测与推荐》的
还没来得及去跑，先记下来。spark 1.3 出来dataframespark 1.4 出来sparkRspark 1.5 出来机器学习的pipeline 数据科学API之扩展 在2015年，Spark研究的主要致力于加强大规模数据科学研究。其中主要包括这三大方面：DataFrame、机器学习流水线、R语言支持。这三个部分所新增的API均有效的运行在Spark
转载
2023-10-14 12:53:11
94阅读
Building with build/mvn · Building a Runnable Distribution · Setting up Maven’s Memory U
转载
2021-08-11 16:16:21
340阅读
Spark1.5堆内存分配
这是spark1.5及以前堆内存分配图
下边对上图进行更近一步的标注，红线开始到结尾就是这部分的开始到结尾
spark 默认分配512MB JVM堆内存。出于安全考虑和避免内存溢出，Spark只允许我们使用堆内存的90%，这在spark的spark.s
转载
2023-11-16 19:50:37
67阅读
一、Spark 1.4.x的新特性 1、Spark Core
1.1 提供REST API供外界开发者获取Spark内部的各种信息（jobs / stages / tasks / storage info），基于这些API，可以搭建自己的Spark监控系统。
1.2 shuffle阶段，默认将map端写入磁盘的数据进行序列化，优化io性能。
1.3 钨丝计划（Project Tung
转载
2023-08-22 22:13:01
40阅读
最近需要用到大数据的一些相关技术，于是实验了一下spark和hadoop的集群环境搭建。实验包括三台虚拟机，linux-1、linux-2、linux-3，spark是一个master两个worker， hadoop是一个主NameNode、两个DataNode，其中一个兼做副NameNode。软件方面，spark用的1.5.2版本，最新的1.6.1版本遇到一个java代码访问拒绝的问题，网上有说
原创
2017-06-29 17:28:08
810阅读
spark1.5发布了，赶紧去下了源码尝鲜git clone git://github.com/apache/spark.git -b branch-1.5输入命令进行编译./make-distribution.sh --tgz -Phadoop-2.4 -Pyarn -Dskip...
转载
2015-09-11 13:38:00
101阅读
2评论
spark1.5发布了，赶紧去下了源码尝鲜git clone git://github.com/apache/spark.git -b branch-1.5输入命令进行编译./make-distribution.sh --tgz -Phadoop-2.4 -Pyarn -Dskip...
转载
2015-09-11 13:38:00
153阅读
Java 1.5 for Linux was a major milestone in the development of Java programming language. It brought many new features and improvements that made Java development on Linux much easier and more efficie
原创
2024-04-30 12:20:53
112阅读
# Java API 1.5 科普
## 引言
Java是一门面向对象的编程语言，由于其跨平台特性和丰富的类库支持，成为了广泛使用的编程语言之一。Java API提供了一组类和接口，用于开发Java应用程序。Java API 1.5是Java平台的一个重要版本，引入了许多新特性和改进。本文将介绍Java API 1.5的一些关键特性，并用代码示例说明其用法。
## 泛型（Generics）
原创
2023-08-06 06:21:28
75阅读
# 实现“java: -source 1.5”步骤教程
## 概述
在Java开发中，我们经常需要指定代码的编译版本，以确保代码的兼容性和稳定性。其中一个常见的编译版本是“java: -source 1.5”，它表示编译器应该将Java源代码解析为Java 1.5版本的字节码。本教程将指导您如何在开发中实现这一目标。
## 教程步骤
下面是实现“java: -source 1.5”的步骤概述
原创
2023-08-11 08:05:57
163阅读
# Java版本和源码兼容性
Java作为一门流行的编程语言，经历了多个版本的发展和演变。每个版本都引入了新的语言特性和改进，以提供更强大的功能和更好的性能。然而，这也带来了一个问题：代码在不同的Java版本中是否具有兼容性？
## Java的版本号
Java的版本号由三部分组成，分别是主版本号、次版本号和更新版本号，形如`主版本号.次版本号.更新版本号`。例如，Java 8的版本号是1.8
原创
2023-07-17 19:18:04
96阅读
# Java 1.5 新特性
## 概述
在本文中，我将向你介绍 Java 1.5 的新特性。这些特性为 Java 开发者带来了极大的便利和效率提升。在学习这些新特性之前，你需要了解整个学习过程的流程。下面是一个简单的流程表格，用于帮助你理解。
| 步骤 | 描述 |
|------|------|
| 1. | 学习泛型 |
| 2. | 学习自动装箱和拆箱 |
| 3. |
原创
2023-08-06 19:19:24
82阅读
JDK5中的一个亮点就是将Doug Lea的并发库引入到Java标准库中。在java.util.concurrent包下除了有locks、atomic、并发集合(ConcurrentHashMap、CopyOnWriteArrayList等)，还有线程池(Executor)、Callable等并发工具。1、在jdk1.5以后，可以通过Callable接口运行线程，他和Runnable接
原创
2022-06-17 08:43:46
62阅读
这里写目录标题概述文档声明头HTML 规范概述标准的骨架:我们来一部分一部分的学习文档声明头任何一个标准的 HTML 页面, 第一行的开头一定是这样:1 <!DOCTYPE ……这一行, 就是文档声明头, DocType Declaration. 此标签可告知浏览器文档使用哪种 HTML 或 XHTML 规范. 到底有哪些规范呢?首先我们先确定一件事情, 我们现在学习的是 HTML4.0.1 这个版本, 这个版本是 IE6 开始兼容的. HTML5 是 IE9 开始兼容的. 但是
原创
2021-01-03 04:23:19
104阅读
https://code.google.com/p/javaparser/
原创
2022-09-23 15:24:30
439阅读
说明：本翻译基本遵照Spark的官方翻译，但是某些不太顺口的地方还是做了一下处理，请原谅我poor的外语能力。官网链接：http://spark.apache.org/docs/latest/quick-start.html使用Spark Shell进行交互分析基本操作Spark的shell提供了一种简单的方式来学习Api，同时它也是一个强大的具有交互功能的数据分析工具。无论是Python还是Sc
转载
2024-01-03 11:09:30
451阅读
