Apache Spark是一个通用的大规模数据快速处理引擎，基于 Scala 语言实现，但提供多语言（Java, Scala, Python and R）API，以及丰富的工具集（如Spark SQL、MLib、GraphX和Spark Streaming）。Spark下载地址：http://spark.apache.org/downloads.htmlScala下载地址：http://www.s
转载
2024-10-18 09:05:55
42阅读
1、spark win10安装（1）解压文件到无空格的安装目录，安装到的目录为D:\Enviroment\Spark\spark-3.0.0-bin-hadoop3.2（2）添加环境变量SPARK_HOME ：D:\Enviroment\Spark\spark-3.0.0-bin-hadoop3.2%SPARK_HOME%\bin%SPARK_HOME%\sbin（3）测试 cmd下输入spark
转载
2023-07-12 11:58:43
419阅读
该论文来自Berkeley实验室，英文标题为：Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing。下面的翻译，我是基于科学网翻译基础上进行优化、修改、补充，这篇译文翻译得很不错。在此基础上，我增加了来自英文原文的图和表格数据，以及译文中缺少的未翻译的部分。如果翻译措
Hadoop十年找了一张Hadoop十年的生态发展图：Spark概况：Apache Spark是一个开源簇运算框架，最初是由加州大学柏克莱分校AMPLab所开发。相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark使用了内存内运算技术，能在数据尚未写入硬盘时即在内存内分析运算。Spark在内存内运行程序的运算速度能做到比Hadoop MapReduce的运算速度
转载
2024-01-29 22:58:14
22阅读
title: Spark系列第八章 Spark的开发调优效率 成本 质量 找一个平衡点8.1 说在前面 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（
转载
2024-04-20 21:09:24
76阅读
一.Spark概述1.Spark 是什么Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。2.spark和HadoopHadoopHadoop 是由 java 语言编写的，在分布式服务器集群上存储海量数据并运行分布式 分析应用的开源框架作为 Hadoop 分布式文件系统，HDFS处于Hadoop 生态圈的最下层，存储着所有 的 数 据 ， 支 持 着 Hadoop的 所 有 服
转载
2023-07-12 11:27:57
52阅读
Spark 1.6.x的新特性Spark-1.6是Spark-2.0之前的最后一个版本。主要是三个大方面的改进：性能提升，新的 Dataset API 和数据科学功能的扩展。这是社区开发非常重要的一个里程碑。1. 性能提升根据 Apache Spark 官方 2015 年 Spark Survey，有 91% 的用户想要提升 Spark 的性能。Parquet 性能自动化内存管理流状态管理速度提升
转载
2023-08-09 16:41:01
254阅读
之前介绍过Spark 1.6版本的部署，现在最新版本的spark为3.0.1并且已经完全兼容hadoop 3.x，同样仍然支持RDD与DataFrame两套API，这篇文章就主要介绍一下基于Hadoop 3.x的Spark 3.0部署，首先还是官网下载安装包，下载地址为：http://spark.apache.org/downloads.html，目前spark稳定版本
转载
2023-08-02 12:35:01
635阅读
“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第8期互动问答分享】 Q1:spark线上用什么版本好？ 建议从最低使用的Spark 1.0.0版本，Spark在1.0.0开始核心API已经稳定；
转载
2023-07-18 22:50:50
355阅读
Kubernetes（简称K8s）是一个用于自动化部署、扩展和管理容器化应用程序的开源容器编排平台。Kubernetes的版本发展经历了多个里程碑，每个版本都带来了新的功能和改进。在这篇文章中，我将向你介绍Kubernetes版本发展的流程，并提供一些代码示例帮助你更好地理解。
Kubernetes版本发展流程
-------------------------------------
以下是K
原创
2024-01-25 09:51:08
14阅读
# Java 发展版本
Java 是一种广泛使用的计算机编程语言，最初由Sun Microsystems开发并于1995年发布。自此以后，Java 不断发展并发布了许多版本，不断提供新的功能和改进。本文将介绍 Java 的发展版本，并通过代码示例展示一些新功能。
## Java 发展历程
以下是 Java 的主要发展版本：
- Java 1.0：最初发布的版本，包含基本的 Java 编程功
原创
2024-05-10 03:28:15
27阅读
从java1到java9每个版本都有什么新特性？每次出新版本，大家大概都会这么问，“Java X会有什么特性呢？” 。在下面的内容里，我总结了至今为止的Java主要发行版中各自引入的新特性，这样做的目的是为了突出各个新特性是在哪个发行版中引入的。除了列出的特性外，每个发行版还做了很多优化和修复BUG的工作。Java 9Java 9 PEPK（JShell）不可变集合类的工厂方法接口中的私有方法Ja
# Python版本发展及其影响
Python是一种广泛使用的高级编程语言，自其1991年首次发布以来，经历了多个重要版本的迭代与发展。它以清晰的语法、丰富的标准库及强大的扩展性而受到开发者的喜爱。本文将探讨Python的版本发展历程，重要的新特性及其对开发者和社区的影响，并给出一些代码示例以帮助读者更好地理解不同版本的变化。
## Python的发展历程
Python的发展经历了多个主要版
原创
2024-09-23 03:43:57
53阅读
# Java版本发展指南
## 引言
作为一名经验丰富的开发者，你将教导一位刚入行的小白如何实现“Java版本发展”。本文将介绍整个过程的流程，并给出每一步所需的代码以及代码注释。
## 流程图
```mermaid
erDiagram
Developer --> Beginner : 教学
Beginner --> Step1 : 学习JDK
Step1 --> St
原创
2023-12-26 08:24:24
34阅读
一. 整体架构总结为如下图： Dataframe本质是 数据 + 数据的描述信息（结构元信息）所有的上述SQL及dataframe操作最终都通过Catalyst翻译成spark程序RDD操作代码 sparkSQL前身是shark，大量依赖Hive项目的jar包与功能，但在上面的扩展越来越难，因此出现了SparkSQL，它重写了分析器，执行器
转载
2023-06-05 10:44:39
168阅读
# 如何在Apache Spark中查看Spark版本
在数据处理和分析的生态系统中，Apache Spark 是一个被广泛使用的大数据处理框架。在日常开发中，我们有时需要确认我们使用的 Spark 版本。本文将指导你如何查看 Spark 版本，并提供详细的步骤说明。
## 流程步骤
我们将整个过程分成以下几个步骤：
| 步骤号 | 步骤名称 | 描述
# 探索Apache Spark的版本演化：从Spark 1.x到Spark 3.x
Apache Spark是一个广泛使用的开源大数据处理框架，以其快速、易用和灵活的特性而闻名。自其诞生以来，Spark已经经历了多个版本的迭代，每个版本都带来了新的特性和改进。本文将带您了解Spark的版本演化历程，并展示一些关键版本的代码示例。
## Spark 1.x：奠定基础
Spark 1.x是Ap
原创
2024-07-21 09:26:41
18阅读
首先祝大家端午节快乐，幸福安康。就在上周五， Apache Spark 3.0 全新发布，此版本给我们带来了许多重要的特性，感兴趣的同学可以看下这篇文章： Apache Spark 3.0.0 正式版终于发布了，重要特性全面解析 。Spark 是从 2010 年正式开源，到今年正好整整十年了！一年一度的 Spark+AI SUMMIT 在本周正在如
转载
2024-02-02 13:53:24
32阅读
公司原来开发使用的是Kafka0.8版本的，虽然很好用，但是看了一下kafka官网的0.10版本更新了好多的特性，功能变得更强了。以后考虑换成0.10版本的，因此特意研究了一下两个版本的区别和使用方法。先贴出两个版本的pom文件一、spark-streaming-kafka-0-8_2.11-2.0.2.jar 1、pom.xml 1 org.apache.spark spark-core_2.
转载
2023-11-20 11:38:02
71阅读
Apache Spark在2015年得到迅猛发展，开发节奏比以前任何时候都快，在过去一年的时间里，发布了4个版本（Spark 1.3到Spark 1.6），各版本都添加了数以百计的改进。给Spark贡献过源码的开发者数量已经超过1000，是2014年年末人数的两倍。据我们了解，不管是大数据或小数据工具方面，Spark目前是开源项目中最活跃的。对Spark的快速成长及社区对Spark项目的重视让我们
转载
2023-09-05 14:17:39
166阅读
