spark-初阶①(介绍+RDD)Spark是什么?Apache Spark 是一个快速的, 多用途的集群计算系统, 相对于 Hadoop MapReduce 将中间结果保存在磁盘中, Spark 使用了内存保存中间结果, 能在数据尚未写入硬盘时在内存中进行运算.Spark的特点(优点)速度快Spark 的在内存时的运行速度是 Hadoop MapReduce 的100倍基于硬盘的运算速度大概是
转载
2024-05-27 18:13:55
59阅读
怀念看论文的日子~/打算写一个Spark系列，主要以Scala代码实现，请赐予我力量吧！！！Spark的特点运行速度：Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供的数据表明，如果数据由磁盘读取，速度是Hadoop MapReduce的10倍以上，如果数据从内存中读取，速度可以高达100多倍。适用性强：能够读取HDFS、Cassandra、HBase、S3和Techyon为
转载
2024-02-17 11:10:59
88阅读
什么是Spark
基于内存的，用于大规模数据处理（离线计算、实时计算、快速查询（交互式查询））的统一分析引擎。
Spark特点
快：
Spark计算速度是MapReduce计算速度的10-100倍
易用：（算法多）
MR支持1种计算模型，Spsark支持更多的算模型。
通用：
Spark 能够进行离线计算、交互式查询（快速查询）、实时计算、机器学习、图计算等
兼容性：
Spar
转载
2023-07-30 00:47:01
84阅读
一、在spark中查看执行完成的日志spark thrift server的web ui在运行时可以看到sql查询的提交用户，执行sql等信息 但是当这个实例停掉或者异常终止以后，你再去spark history server的webui去查看，发现这部分信息就没有了…… image.png究其原因，原来spark thrift server并没有将这部
转载
2023-08-11 10:35:01
191阅读
前一段时间数据挖掘组的同学向我返回说自己的一段pyspark代码执行非常缓慢，而代码本身非常简单，就是查询hive 一个视图中的数据，而且通过limit 10限制了数据量。 不说别的，先贴我的代码吧：from pyspark.sql import HiveContext
from pyspark.sql.functions import *
import json
hc = HiveContex
转载
2023-06-19 05:51:00
190阅读
在这篇文章中我们将讨论如何利用 Apache Spark 来提升 MySQL 的查询性能。介绍 在我的前一篇文章 Apache Spark with MySQL 中介绍了如何利用 Apache Spark 实现数据分析以及如何对大量存放于文本文件的数据进行转换和分析。瓦迪姆还做了一个基准测试用来比较 MySQL 和 Spark with Parquet 柱
转载
2024-07-20 15:45:44
0阅读
当前版本:saprk2.4 cdh 数据演示为10亿,41列sparksql提供了类sql的标准,支持数学函数,聚合函数,时间函数,字符串函数,支持已经很完善了参考:https://spark.apache.org/docs/2.4.0/api/sql/index.htmlOne use of Spark SQL is to execute SQL queries. Spark SQL can a
转载
2023-10-20 15:19:13
113阅读
# 优化 Spark Thriftserver 查询速度的指南
作为一名经验丰富的开发者，我很高兴能够带你走进 Spark Thriftserver 的世界，帮助你解决查询速度慢的问题。通过本文，我们将分步深入这一问题，让你掌握如何逐步提高 Spark Thriftserver 的查询效率。
## 整个优化过程的流程
我们将整个优化过程分为以下几个步骤。请参考下表：
| 步骤 | 描述
本文主要介绍了spark的基本概念和交互式使用（Scala语言），不涉及在独立应用中使用spark、集群部署 1. Spark 是什么Apache Spark 是个通用的集群计算框架，通过将大量数据集计算任务分配到多台计算机上，提供高效内存计算。Spark 正如其名，最大的特点就是快（Lightning-fast），可比 Hadoop MapReduce 的处理速度快 100 倍。如果你
转载
2024-01-15 20:18:11
88阅读
# 实现 Docker Spark 速度的指南
Docker 和 Apache Spark 是现代数据处理的强大工具。利用 Docker 部署 Spark，可以简化环境配置并提升开发和运行的灵活性。本篇文章将指导新手如何实现 Docker Spark，并优化其运行速度。整个流程将分为几个主要步骤，我们将详细介绍每一个步骤。
## 整体流程
以下是实现 Docker Spark 的步骤:
|
原创
2024-08-25 06:34:15
32阅读
## Spark 写入速度
Spark 是一个基于内存计算的分布式计算框架，它提供了强大的处理能力和高效的数据处理方式。在大数据处理中，写入速度往往是一个关键指标，因为数据的写入速度决定了实时数据处理的能力。本文将介绍使用 Spark 写入数据的方法，并探讨如何提高写入速度。
### Spark 写入数据的方法
Spark 提供了多种方式来写入数据，包括将数据保存到文件系统、将数据保存到数据
原创
2023-09-29 18:20:58
162阅读
Spark最初由美国加州伯克利大学的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。Spark特点Spark具有如下几个主要特点： 运行速度快：Spark使用先进的DAG（Directed Acyclic Graph，有向无环图）执行引擎，以支持循环数据流与内存计算，基于内存的执行速度可比Hadoop MapReduce快上百倍，基于
转载
2023-10-30 11:19:10
90阅读
HIVE ON SPARK 和 SPARK READ HIVE METASTORE具体hadoop 和 hive单机版本安装请参考单节点搭建hadoop和hive 此文是基与这篇基础上升级而来。零、版本说明：本例使用的版本，hive和spark版本对标Cloudera 公司的 cdh6.2.0 版本，hdfs图省事就没对标cdh的3.0.0版本： hadoop: 2.10.2 hive: 2.1.
转载
2024-06-19 11:54:31
38阅读
1.spark的概念Apache Spark™ is a fast and general engine for large-scale data processing.Apache Spark 是处理大规模数据的快速的、通用的引擎。3.spark的四大特征（1）Speed（速度）Run programs up to 100x faster than Hadoop MapReduce i
转载
2023-09-22 21:18:28
111阅读
译者何源（荆杭），阿里云计算平台事业部高级产品专家前言本文翻译自 Altinity 针对 ClickHouse 的系列技术文章。面向联机分析处理（OLAP）的开源分析引擎 ClickHouse，因其优良的查询性能，PB 级的数据规模，简单的架构，被国内外公司广泛采用。阿里云 EMR-OLAP 团队，基于开源 ClickHouse 进行了系列优化，提供了开源 OLAP 分析引擎 ClickHouse
转载
2024-07-08 10:52:34
39阅读
二、Hive、Spark SQL、Impala比较
Hive、Spark SQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案，但又各有特点。前面已经讨论了Hive和Impala，本节先介绍一下SparkSQL，然后从功能、架构、使用场景几个角度比较这三款产品的异同，最
转载
2024-02-25 07:37:11
63阅读
记录spark读写postgresql的操作读写mysql同理，个别地方可能需要修改1 连接数据库的两种方式其中一为spark的读取方式，二为通过结合java读取 读取结果为DataFrame读方法一val jdbcDF = spark.read
.format("jdbc")
.option("url", "jdbc:postgresql://127.0.0.1:5432/geodb")
转载
2023-08-16 12:49:57
93阅读
5.9 MapReduce与Tez对比Tez是一个基于Hadoop YARN构建的新计算框架，将任务组成一个有向无环图（DAG）去执行作业，所有的作业都可以描述成顶点和边构成的DAG。 Tez为数据处理提供了统一的接口，不再像MapReduce计算引擎一样将任务分为作业Map和Reduce阶段。在Tez中任务由输入（input）、输出（output）和处理器（processor）三部分接口组成，处
转载
2024-06-12 21:51:09
158阅读
## Spark提升Join速度的实现方式
### 1. 问题描述
在Spark中，Join操作是常见的数据处理操作之一，但是当数据量较大时，Join操作可能会变得非常耗时，影响整体任务的执行效率。本文将介绍一种通过优化Join操作来提升其速度的方法。
### 2. 流程概述
下图是优化Join操作的流程图：
```mermaid
flowchart TD
A[原始数据集] --
原创
2023-10-25 18:47:52
76阅读
# Spark 写入 Elasticsearch 速度优化指南
## 引言
在大数据处理中，Spark 是一个非常常用的分布式计算引擎，而 Elasticsearch 则是一个强大的实时搜索和分析引擎。将 Spark 与 Elasticsearch 结合使用，可以实现高效的数据处理和分析。本文将介绍如何在 Spark 中实现高速写入 Elasticsearch 的方法，并提供一些优化技巧。
#
原创
2023-12-12 09:57:31
81阅读
