基于软件性能优化原则和 Spark 的特点，Spark 性能优化可以分解为下面几步。性能测试，观察 Spark 性能特性和资源（CPU、Memory、Disk、Net）利用情况。分析、寻找资源瓶颈。分析系统架构、代码，发现资源利用关键所在，思考优化策略。代码、架构、基础设施调优，优化、平衡资源利用。性能测试，观察系统性能特性，是否达到优化目的，以及寻找下一个瓶颈点。案例 1：Spark 任务文件初
转载
2023-07-21 19:20:25
96阅读
RDD方法又称RDD算子。算子 ： Operator（操作） RDD的方法和Scala集合对象的方法不一样，集合对象的方法都是在同一个节点的内存中完成的。RDD的方法可以将计算逻辑发送到Executor端（分布式节点）执行，为了区分不同的处理效果，所以将RDD的方法称之为算子。RDD的方法外部的操作都是在Driver端执行的，而方法内部的逻辑代码是在Executor端执行。RDD的常用方法分为两大
概述本文讲述如何使用checkpoint来保存rdd，并读取还原rdd的数据。checkpoint简介checkpoint可以把rdd持久化到磁盘上，可以是本地磁盘也可以是外部存储系统(比如：hadoop文件系统)。要注意的是：在rdd进行checkpoint时，会先把rdd的血缘(lineage)去掉。另外：在大数据量的情况下，保存和读取rdd数据也会十分消耗资源。所以，是选择使用checkpo
转载
2024-02-27 20:24:12
44阅读
文章目录一、数据结构——RDD二、RDD实现World Count三、算子1、转化算子transcation2、动作算子action3、引起shuffle过程的Spark算子四、宽窄依赖五、RDD缓存1、级别2、cache()、persist()、checkpoint()区别六、广播变量和累加器1、广播变量2、累加器 一、数据结构——RDD什么是RDD? RDD（Resilient Distr
转载
2024-08-16 13:49:52
65阅读
### 如何在 Spark 中实现 "Count Over"
在大数据处理的世界中，Apache Spark 是一种非常流行的分布式计算框架。特别是在处理数据分析时，我们常常需要计算特定列的总体计数，例如使用 SQL 中的 "COUNT OVER" 语句。今天，我将为刚入行的小白同事们详细讲解如何在 Spark 中实现这个功能。
#### 整体流程
我们可以将实现过程分为以下几个步骤：
|
原创
2024-08-11 04:04:12
55阅读
一、reduceByKey和groupByKey的区别1、reduceByKey：按照 key进行聚合，在 shuffle 之前有 combine（预聚合）操作，返回结果是 RDD[k,v]。2、groupByKey：按照 key进行分组，直接进行 shuffle。开发指导：reduceByKey比 groupByKey，建议使用。但是需要注意是否会影响业务逻辑。1、reduceByKey(fun
# 如何实现Spark中的count distinct
## 1. 前言
作为一名经验丰富的开发者，我们经常会遇到需要对大规模数据进行处理的情况。在Spark中，如果我们需要对数据进行去重并计算唯一值的数量，通常会使用count distinct方法。在这篇文章中，我将教你如何在Spark中实现count distinct操作。
## 2. 流程图
```mermaid
flowchart T
原创
2024-05-05 05:33:01
150阅读
# Spark Count Lazy
Apache Spark is an open-source framework that provides an interface for programming clusters with distributed data processing. One of the key features of Spark is lazy evaluation,
原创
2023-11-26 08:16:30
28阅读
通过TCP端口9999获取数据，并进行单词计数。
原创
2024-03-18 14:55:27
33阅读
前言 前段时间关于统计数量的sql问题和朋友进行了讨论，网上关于这三种查询方式说法不一，主要有以下两种说法。 count(*) = count(主键) > count(1) count(主键) > count(*) > count(1) 今天对这三种方式进行探究。 数据库为mysql 5.7.12，
转载
2022-01-08 11:02:13
824阅读
本文经授权转载自微信公众号：猿人谷最近有几个小伙伴留言说不清楚Count(字段)、Count（主键）、Count（1）、Count（*）的区别，特此写篇短文说明下。以下讨...
转载
2021-07-17 15:20:47
931阅读
文章目录PostgreSQL自带的命令行工具--psql使用psql连接数据库psql帮助内容\copyright 发布条款\h SQL命令的帮助\? 元命令帮助psql元命令实际执行SQL部分中文说明其他说明总结参考 编辑|SQL和数据库技术(ID:SQLplusDB) PostgreSQL自带的命令行工具–psql和Oracle的sqlplus、MySQL自带命令行类似。psql是Pos
1，概念开窗函数与聚合函数一样，都是对行的集合组进行聚合计算。它用于为行定义一个窗口（这里的窗口是指运算将要操作的行的集合），它对一组值进行操作，不需要使用GROUP BY子句对数据进行分组，能够在同一行中同时返回基础行的列和聚合列。 2，开窗函数格式 函数名(列) OVER(partition by … order by …rows|range)3，具体解释3.1，分类1，聚
转载
2024-01-28 05:48:20
341阅读
文章目录一、概念二、常用转换算子2.1、map2.2、mapPartitions2.3、mapPartitionsWithIndex2.4、flatMap2.5、glom2.6、groupBy2.7、filter2.8、sample2.9、distinct2.10、coalesce2.11、repartition2.12、sortBy2.13、intersection2.14、union2.15
转载
2023-07-21 19:25:43
46阅读
1. RDD概述RDD 是 Spark 的计算模型。RDD（Resilient Distributed Dataset）叫做弹性的分布式数据集合，是 Spark 中最基本的数据抽象，它代表一个不可变、只读的，被分区的数据集。操作 RDD 就像操作本地集合一样，有很多的方法可以调用，使用方便，而无需关心底层的调度细节。2. RDD的创建Spark Core为我们提供了三种创建RDD的方式，包括：使用
转载
2024-01-15 16:59:27
46阅读
hello，大家好，我是张张，「架构精进之路」公号作者。最近的工作中，我听到组内两名研发同学在交流数据统计性能的时候，说到以下内容：你怎么能用 count(*) 统计数据呢，count(*) 太慢了，要是把数据库搞垮了那不就完了么，用 count(1)，这样比较快......难道 count(1) 的性能就比 count(*) 要好吗？印象中网上有些“XX 面试官”系列的网文也有过类似问题的讨论，
原创
2022-08-30 09:44:52
86阅读
最近的工作中，我听到组内两名研发同学在交流数据统计性能的时候，聊到了以下内容：数据统计你怎么能用 count() 统计数据呢，count() 太慢了，要是把数据库搞垮了那不就完了么，赶紧改用 count(1)，这样比较快......有点儿好奇，难道 count(1) 的性能真的就比 count(*) 要好吗？印象中网上有很多的文章都有过类似问题的讨论，那 MySQL 统计数据总数 count(*)
原创
2022-10-09 10:32:10
577阅读
1.Spark的一些基本名词解释ClusterManager：在Standalone模式中即为Master（主节点），控制整个集群，监控Worker。在YARN模式中为资源管理器。 Worker：从节点，负责控制计算节点，启动Executor。在YARN模式中为NodeManager，负责计算节点的控制。 Driver：运行Application的main()函数并创建SparkContext。
转载
2023-10-05 16:16:27
72阅读
shuffle调优是spark调优的重中之重，在讲解shuffle调优之前，我们首先明确一个概念，什么是shuffle操作？问题：什么是shuffle？答案：每个Spark作业启动运行的时候，首先Driver进程会将我们编写的Spark作业代码分拆为多个stage，每个stage执行一部分代码片段，并为每个stage创建一批Task，然后将这些Task分配到各个Executor进程中执行。一个st
转载
2024-07-21 17:06:33
43阅读
## 如何优化Spark计算中的count操作
### 1. 整体流程
首先，让我们来看一下优化Spark计算中count操作的整体流程：
```mermaid
flowchart TD
A(读取数据) --> B(数据预处理)
B --> C(进行count操作)
C --> D(优化count操作)
D --> E(输出结果)
```
### 2. 具体
原创
2024-05-11 07:19:06
585阅读
