上篇文章 spark 源码分析之十六 -- Spark内存存储剖析 主要剖析了Spark 的内存存储。本篇文章主要剖析磁盘存储。总述磁盘存储相对比较简单，相关的类关系图如下： 我们先从依赖类 DiskBlockManager 剖析。 DiskBlockManager文档说明如下： Creates and maintains the logica
转载
2024-10-23 09:30:41
0阅读
大数据大数据特征: 4v 大量 多样 高速 价值 多样，结构型数据(规则) 非结构型(不规则)研究大数据的意义 预测优势 扩容能力强 成本低 高效率 可靠性 高容错性 缺点 不适合处理小数据热备（在线备份 不影响操作） 冷备（离线备份 关机备份） 温备 （）hadoop生态圈HDFS存储 MapReduce计算 Yarn 资源管理 Sqoop 数据迁
数据倾斜是大数据计算中一个最棘手的问题，出现数据倾斜后，Spark 作业的性能会比期望值差很多。数据倾斜的调优，就是利用各种技术方案解决不同类型的数据倾斜问题，保证 Spark 作业的性能。一，数据倾斜原理一个 Spark 作业，会根据其内部的 Action 操作划分成多个 job，每个 job 内部又会根据 shuffle 操作划分成多个 stage，然后每个 stage 会分配多个 task
转载
2023-08-08 13:34:32
79阅读
spark核心编程查缺：java中 .flush() 这个方法是清除缓存在传对象到另一个电脑的时候要序列化 只需要类继承Serializable即可Scala中 option表示防止空指针异常，这个数据可有可无项目中的相对路径是以该项目根目录文件为标准，即为文件总目录slices 切片 切片数量单词补漏socket: 插座，发送端，可以理解为需求的客户端，发送请求NotSerializableEx
转载
2024-03-05 15:27:00
67阅读
为什么考察SQL？大数据分析工程师80%的时间都在与SQL打交道，通过SQL完成业务方的各种临时性需求分析和常规性报表统计。熟练的SQL技能能够大大提高工作效率。本文将SQL/SparkSql/HiveQL放在一起来梳理一份常见题型的面试题库。面试题库01SQL基础知识考察对于面试初级数据分析师来说，SQL的面试重点会放在基础知识的考察，如果最基本的基础概念和语法都不能熟练回答出来的话，
# 如何在 Spark Doris 中删除数据
在大数据领域，数据的删除操作同样重要。在本篇文章中，我将指导你如何在 Spark 中实现对 Doris 数据库中的数据删除。我们会从整体流程开始，逐步深入到每一个步骤的详细代码解析。
## 整体流程
下面是数据删除的整体步骤，供你参考：
| 步骤 | 任务 | 说明
文章目录Shell命令基础练习HBase中创建表，并查看表HBase数据库基本操作添加数据：put命令查看数据查看表的某一行数据；查看某个表的全部数据删除数据delete命令deleteall命令删除表(删除表有两步，第一步先让该表不可用，第二步删除表)查询表历史数据退出HBase数据库表操作Shell进阶练习（1）根据上面给出的表格，用Hbase Shell模式设计学生表格a)设计完后，用sc
转载
2023-07-10 12:32:02
192阅读
什么是SparkApache Spark是一个围绕着处理速度，易使用及复杂分析构建的开源大数据处理框架。它最早由加州大学伯克利分校的AMPLab在2009年开发，2010年成为Apache的开源项目。 Spark相对于其他的大数据和MapReduce技术（如：Hadoop和Storm）有几个优点。 首先，Spark为我们提供了完整、统一的框架来管理大数据处理所需要的各种不同特性的数据集（文本数
转载
2023-10-27 20:09:44
107阅读
# Spark SQL 删除数据的指南
在大数据处理中，Spark SQL 是一个强大的工具，它提供了处理结构化数据的能力。在某些情况下，您可能需要从数据集中删除特定的数据行。本文将引导您理解如何在 Spark SQL 中实现这一操作，逐步阐述整个流程，并提供相关的代码示例。
## 1. 整体流程
在实现 Spark SQL 删除数据的过程中，可以分为以下几个步骤：
| 步骤 | 描述
原创
2024-09-22 04:09:48
445阅读
在处理大规模数据时，我们常常需要根据特定条件从分布式数据集中删除某些数据。Apache Spark 提供了强大的功能来实现这一点。本文将详细介绍如何在 Spark 中根据条件删除数据，从版本对比、迁移指南到实战案例等多个方面进行深入探讨。
### 版本对比
在不同版本的 Spark 中，针对条件删除数据的方式经历了变化。下表列出了各个版本的特性差异：
| 版本 | 特性
【大家好，我是爱干饭的猿，本文重点介绍DataFrame的组成、DataFrame的代码构建、DataFrame的入门操作、词频统计案例、电影数据分析、SparkSQL Shuffle 分区数目、SparkSQL 数据清洗API、DataFrame数据写出、DataFrame 通过JDBC读写数据库（MySQL示例）3. DataFrame入门3.1 DataFrame的组成DataFrame是一
[size=medium][color=red][b]Spark SQL 作为Apache Spark大数据框架的一部分，主要用于结构化数据处理和对Spark数据执行类SQL的查询。[/b][/color][/size]通过Spark SQL，可以针对不同格式的数据执行ETL操作（[b]如JSON，Parquet，数据库[/b]）然后完成特定的查询操作。
转载
2023-10-13 21:18:00
72阅读
在Spark中进行数据分析，数据预处理和清洗是必不可少的步骤，以下是一些常用的方法：去除重复行去除空值替换空值更改数据类型分割列合并列过滤行1. 去除重复行去除重复行可以使用DataFrame的dropDuplicates()方法，例如：df = df.dropDuplicates()2. 去除空值去除空值可以使用DataFrame的dropna()方法，例如：df = df.dropna()可以
转载
2023-04-03 21:51:30
371阅读
## Spark 删除数据库教程
在Spark中，我们可以使用SQL语句操作数据库。要删除数据库，我们需要完成以下步骤：
| 步骤 | 操作 |
| --- | --- |
| 1 | 连接到数据库 |
| 2 | 删除数据库 |
| 3 | 关闭连接 |
下面是详细的步骤说明：
### 1. 连接到数据库
首先，我们需要连接到数据库。在Spark中，我们使用`pyspark.sql`模
原创
2023-11-12 04:13:03
209阅读
概述合理配置Executor，Core，Partition会大大提高集群的计算效率。 举个例子：100道计算题，如果一个人计算可能需要100min，但如果平均分配给10个人计算，每人算10道题，然后再汇总给一个人提交，那只需要10min就可以完成。 为了帮助大家更全面的理解底层原理和一些基本概念，先介绍Spark架构与Spark调度模块，调优在文章最末 概述
Spark架构
转载
2024-09-06 14:59:42
33阅读
Redis服务器将所有数据库都保存在服务器状态redis.h/redisServer结构的db数组中，db数组的每一项都是一个redis.h/redisDb结构，每个redisDb结构代表一个数据库，服务器设置dbnum属性为初始数据库的个数，这个属性一般由数据库服务器配置conf文件中的database节点来配置，默认情况下这个初始值是16。struct redisServer{
//数
转载
2023-08-28 14:58:13
101阅读
一.基础知识的刨析1.ElasticSearch中的indexElasticSearch中的索引(index)是用于组织数据的逻辑命名空监（如数据库）。ElasticSearch的所有默认有5个分片(shard)--当然这是7.x版本之前的特性了。7.x之后新建索引默认都是1个分片。分片是实际存储数据的lucene索引，它本身就是一个搜索引擎。每个分片可以有零个或多个副本（replicas）默认是
转载
2023-10-10 22:49:48
285阅读
目录一、新增文档（Document）1.1、put方式1.2、post方式二、查询文档三、修改文档3.1、全量更新3.2、部分更新3.3、检查更新四、删除文档4.1、单条删除五、bulk 批量增删改 一、新增文档（Document）1.1、put方式格式：PUT /index_name/type_name/id{field_name:field_value}（需手动指定id） 示例：PUT /te
转载
2023-10-24 05:17:40
332阅读
# Java中的数据删除操作
在Java编程中，删除数据是一个常见且重要的操作。无论是在数据库中、集合中，还是在文件系统中，理解如何有效地删除数据都是开发过程中不可或缺的一部分。本文将介绍Java中删除数据的常用方法，并通过代码示例详细讲解其实现过程。
## 一、删除数据的场景
数据删除操作主要出现在以下几个场景中：
1. **从集合中删除元素**：
在Java中，我们经常使用集合（
删除数据分为两种：一种是删除索引（数据和表结构同时删除，作用同MySQL中 DROP TABLE “表名” ），另一种是删除数据（不删除表结构，作用同MySQL中Delete 语句）。一：删除索引：删除单个索引可以使用命令 【DELETE /索引名称】Delete 索引名称删除多个索引可以使用命令 【DELETE /索引1，索引2】Delete 索引名称1，索引名称2 【DELETE /testi
转载
2023-07-06 14:51:31
1334阅读
