spark-初阶①(介绍+RDD)Spark是什么?Apache Spark 是一个快速的, 多用途的集群计算系统, 相对于 Hadoop MapReduce 将中间结果保存在磁盘中, Spark 使用了内存保存中间结果, 能在数据尚未写入硬盘时在内存中进行运算.Spark的特点(优点)速度快Spark 的在内存时的运行速度是 Hadoop MapReduce 的100倍基于硬盘的运算速度大概是
转载
2024-05-27 18:13:55
59阅读
本文主要介绍了spark的基本概念和交互式使用（Scala语言），不涉及在独立应用中使用spark、集群部署 1. Spark 是什么Apache Spark 是个通用的集群计算框架，通过将大量数据集计算任务分配到多台计算机上，提供高效内存计算。Spark 正如其名，最大的特点就是快（Lightning-fast），可比 Hadoop MapReduce 的处理速度快 100 倍。如果你
转载
2024-01-15 20:18:11
88阅读
# 实现 Docker Spark 速度的指南
Docker 和 Apache Spark 是现代数据处理的强大工具。利用 Docker 部署 Spark，可以简化环境配置并提升开发和运行的灵活性。本篇文章将指导新手如何实现 Docker Spark，并优化其运行速度。整个流程将分为几个主要步骤，我们将详细介绍每一个步骤。
## 整体流程
以下是实现 Docker Spark 的步骤:
|
原创
2024-08-25 06:34:15
32阅读
## Spark 写入速度
Spark 是一个基于内存计算的分布式计算框架，它提供了强大的处理能力和高效的数据处理方式。在大数据处理中，写入速度往往是一个关键指标，因为数据的写入速度决定了实时数据处理的能力。本文将介绍使用 Spark 写入数据的方法，并探讨如何提高写入速度。
### Spark 写入数据的方法
Spark 提供了多种方式来写入数据，包括将数据保存到文件系统、将数据保存到数据
原创
2023-09-29 18:20:58
162阅读
怀念看论文的日子~/打算写一个Spark系列，主要以Scala代码实现，请赐予我力量吧！！！Spark的特点运行速度：Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供的数据表明，如果数据由磁盘读取，速度是Hadoop MapReduce的10倍以上，如果数据从内存中读取，速度可以高达100多倍。适用性强：能够读取HDFS、Cassandra、HBase、S3和Techyon为
转载
2024-02-17 11:10:59
88阅读
前一段时间数据挖掘组的同学向我返回说自己的一段pyspark代码执行非常缓慢，而代码本身非常简单，就是查询hive 一个视图中的数据，而且通过limit 10限制了数据量。 不说别的，先贴我的代码吧：from pyspark.sql import HiveContext
from pyspark.sql.functions import *
import json
hc = HiveContex
转载
2023-06-19 05:51:00
190阅读
什么是Spark
基于内存的，用于大规模数据处理（离线计算、实时计算、快速查询（交互式查询））的统一分析引擎。
Spark特点
快：
Spark计算速度是MapReduce计算速度的10-100倍
易用：（算法多）
MR支持1种计算模型，Spsark支持更多的算模型。
通用：
Spark 能够进行离线计算、交互式查询（快速查询）、实时计算、机器学习、图计算等
兼容性：
Spar
转载
2023-07-30 00:47:01
84阅读
1.spark的概念Apache Spark™ is a fast and general engine for large-scale data processing.Apache Spark 是处理大规模数据的快速的、通用的引擎。3.spark的四大特征（1）Speed（速度）Run programs up to 100x faster than Hadoop MapReduce i
转载
2023-09-22 21:18:28
111阅读
一、在spark中查看执行完成的日志spark thrift server的web ui在运行时可以看到sql查询的提交用户，执行sql等信息 但是当这个实例停掉或者异常终止以后，你再去spark history server的webui去查看，发现这部分信息就没有了…… image.png究其原因，原来spark thrift server并没有将这部
转载
2023-08-11 10:35:01
191阅读
5.9 MapReduce与Tez对比Tez是一个基于Hadoop YARN构建的新计算框架，将任务组成一个有向无环图（DAG）去执行作业，所有的作业都可以描述成顶点和边构成的DAG。 Tez为数据处理提供了统一的接口，不再像MapReduce计算引擎一样将任务分为作业Map和Reduce阶段。在Tez中任务由输入（input）、输出（output）和处理器（processor）三部分接口组成，处
转载
2024-06-12 21:51:09
158阅读
二、Hive、Spark SQL、Impala比较
Hive、Spark SQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案，但又各有特点。前面已经讨论了Hive和Impala，本节先介绍一下SparkSQL，然后从功能、架构、使用场景几个角度比较这三款产品的异同，最
转载
2024-02-25 07:37:11
63阅读
记录spark读写postgresql的操作读写mysql同理，个别地方可能需要修改1 连接数据库的两种方式其中一为spark的读取方式，二为通过结合java读取 读取结果为DataFrame读方法一val jdbcDF = spark.read
.format("jdbc")
.option("url", "jdbc:postgresql://127.0.0.1:5432/geodb")
转载
2023-08-16 12:49:57
93阅读
译者何源（荆杭），阿里云计算平台事业部高级产品专家前言本文翻译自 Altinity 针对 ClickHouse 的系列技术文章。面向联机分析处理（OLAP）的开源分析引擎 ClickHouse，因其优良的查询性能，PB 级的数据规模，简单的架构，被国内外公司广泛采用。阿里云 EMR-OLAP 团队，基于开源 ClickHouse 进行了系列优化，提供了开源 OLAP 分析引擎 ClickHouse
转载
2024-07-08 10:52:34
39阅读
## Spark提升Join速度的实现方式
### 1. 问题描述
在Spark中，Join操作是常见的数据处理操作之一，但是当数据量较大时，Join操作可能会变得非常耗时，影响整体任务的执行效率。本文将介绍一种通过优化Join操作来提升其速度的方法。
### 2. 流程概述
下图是优化Join操作的流程图：
```mermaid
flowchart TD
A[原始数据集] --
原创
2023-10-25 18:47:52
76阅读
# Spark 写入 Elasticsearch 速度优化指南
## 引言
在大数据处理中，Spark 是一个非常常用的分布式计算引擎，而 Elasticsearch 则是一个强大的实时搜索和分析引擎。将 Spark 与 Elasticsearch 结合使用，可以实现高效的数据处理和分析。本文将介绍如何在 Spark 中实现高速写入 Elasticsearch 的方法，并提供一些优化技巧。
#
原创
2023-12-12 09:57:31
81阅读
https://stackoverflow.com/questions/32435263/dataframe-join-optimization-broadcast-hash-joinimport o
原创
2022-07-19 16:21:26
169阅读
# Spark读取HBase速度
在大数据处理领域，Spark和HBase是两个非常流行的工具。Spark是一种快速、通用的集群计算系统，而HBase是一个分布式的、面向列的NoSQL数据库。在很多场景下，需要将HBase中的数据读取到Spark中进行进一步的处理和分析。那么，Spark读取HBase的速度如何呢？本文将介绍Spark读取HBase的速度及相关优化方法。
## Spark读取H
原创
2024-05-09 05:04:45
99阅读
spark所支持的文件格式 1.文本文件在 Spark 中读写文本文件很容易。当我们将一个文本文件读取为 RDD 时，输入的每一行 都会成为 RDD 的 一个元素。也可以将多个完整的文本文件一次性读取为一个 pair RDD， 其中键是文件名，值是文件内容。 在 Scala 中读取一个文本文件 val inputFile = "file:///home/common/codi
转载
2023-12-29 13:53:39
49阅读
Spark Streaming入门概述应用场景集成Spark生态系统的使用Spark Streaming发展史 词频统计使用spark-submit执行使用spark-shell执行工作原理 概述Spark Streaming是核心Spark API的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。数据可以从像卡夫卡，室壁运动，或TCP套接字许多来源摄入，并且可以使用与像高级别功能表达复杂
转载
2023-08-08 12:24:44
66阅读
spark优化总结:一、spark 代码优化六大代码优化:
避免创建重复的RDD
尽可能复用同一个RDD
对多次使用的RDD进行持久化
尽量避免使用shuffle类算子
使用map-side预聚合的shuffle操作
使用高性能的算子
广播大变量
使用Kryo优化序列化性能
优化数据结构
使用高性能的库fastutil1. 对多次使用的RDD进行持久化同常内存够的
转载
2023-12-13 01:52:01
87阅读
