列式存储布局（比如 Parquet）可以加速查询，因为它只检查所有需要的列并对它们的
原创
2022-08-01 20:29:20
482阅读
### 整体流程
首先，我们需要创建一个 Spark DataFrame，并将其注册为一个临时视图（TempView），然后将这个DataFrame以Parquet格式保存到文件系统中。接下来，我们可以通过使用createOrReplaceTempView函数将这个Parquet文件加载回Spark DataFrame中。
以下是整个流程的步骤概述：
| 步骤 | 描述 |
| --- |
原创
2023-11-10 09:15:17
61阅读
# 加快Spark扫描Parquet的性能优化
## 背景介绍
在大数据处理领域，Apache Spark是一个非常流行的分布式计算框架，而Parquet是一种高效的列式存储格式。然而，有时候我们会发现在使用Spark来扫描Parquet文件时，性能并不理想，扫描速度较慢。这可能会影响到我们的数据处理效率和用户体验。所以，本文将介绍一些优化方法，来加快Spark扫描Parquet的性能。
#
原创
2024-02-28 07:41:41
223阅读
讨论QQ：1586558083目录一、SparkCore、SparkSQL和SparkStreaming的类似之处二、SparkStreaming的运行流程2.1 图解说明2.2 文字解说三、SparkStreaming的3个组成部分四、 离散流（DStream）五、小栗子5.1 简单的单词计数5.2 监控HDFS上的一个目录5.3 第二次运行的时候更新原先的结果5.4 DriverHA 
1、设计目标 1、实时的OLTP+OLAP型的操作2、数据规模在50TB-100TB以下：太大规模的数据(PB规模)，还要求实时出结果的场景，并不是SnappyData的设计目标。3、微批的流失写入：实时数据的写入最好按批次写入。例如列表上的频繁的基于点的update，效率并不是很高。 2、数据流 上图介绍了流数据的注入以及数据分析的过程，如下：1、当集群搭建完成，此时就可以从外部数据源导
date: 2020-07-20 16:15:00
updated: 2020-07-27 13:40:00Parquet 源码解析Parquet文件是以二进制方式存储的，所以是不可以直接读取的，文件中包括该文件的数据和元数据，因此Parquet格式文件是自解析的。在HDFS文件系统和Parquet文件中存在如下几个概念。HDFS块(Block)：它是HDFS上的最小的副本单位，HDFS会把一个B
转载
2024-07-04 05:27:15
132阅读
Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器升级为顶级项目。列式存储和行氏存储相比，有哪些优势？ 1、可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量； 2、压缩编码可以降低磁盘存储空间，由于同一列的数据类型是一样的，可以使用更高效压缩编码（例如Run Length Encoding和Delta Encod
转载
2024-04-10 11:00:19
12阅读
使用sparksql访问几个hive表join的情况时结果为空，且这个sql在hive里执行是成功的。val sparkSession = SparkSession
.builder()
.config("jars","lib/*")
.appName("Spark Hive Example")
.enableHiveSupport()
转载
2023-06-01 15:47:54
174阅读
Spark 1.6.x的新特性Spark-1.6是Spark-2.0之前的最后一个版本。主要是三个大方面的改进：性能提升，新的 Dataset API 和数据科学功能的扩展。这是社区开发非常重要的一个里程碑。1. 性能提升根据 Apache Spark 官方 2015 年 Spark Survey，有 91% 的用户想要提升 Spark 的性能。Parquet 性能自动化内存管理流状态管理速度提升
转载
2024-02-20 09:43:56
33阅读
Parquet是一种流行的列式存储格式，可以高效地存储具有嵌套字段的记录，还可以
原创
2022-10-31 12:36:45
318阅读
# Spark Parquet 追加写入的详解
Apache Spark 是一个强大的大数据处理框架，可以高效地处理和分析大批量数据。在数据存储方面，Parquet 是一种常用的列式存储格式，它非常适合于快速的数据读取和高效的存储。本文将介绍如何在 Spark 中实现 Parquet 格式的追加写入，并提供相关的代码示例。
## 什么是 Parquet？
Parquet 是一种基于列的存储文
原创
2024-10-28 07:06:49
355阅读
# 用Java Spark读取Parquet文件
Parquet是一种列式存储格式，被广泛用于大数据处理领域。它的设计目标是高效地存储和处理大量的结构化数据，具有良好的压缩率和查询性能。本文将介绍如何使用Java Spark读取Parquet文件，并提供相应的代码示例。
## 什么是Parquet文件？
Parquet文件是一种高效的列式存储格式，广泛用于大数据处理和分析中。与传统的行式存储
原创
2023-10-20 13:19:59
463阅读
Spark基础学习精髓1 Spark与大数据1.1 大数据基础1.1.1 大数据特点存储空间大数据量大计算量大1.1.2 大数据开发通用步骤及其对应的技术大数据采集->大数据预处理->大数据存储->大数据处理->大数据可视化(1)大数据采集技术 分布式架构、多种采集技术混合使用 web数据采集：shell编程、爬虫工具、爬虫程序开发、HTTP协议、TCP
转载
2024-07-29 18:28:04
69阅读
在大数据计算框架中，Shuffle阶段的设计优劣是决定性能好坏的关键因素之一。 为了深入理解Shuffle阶段的各个细节， 并进一步在理解的基础上优化代码，减少不必要的Shuffle开销， 我将通过几篇博客深入分析Spark Shuffle阶段的源代码实现，详细解析Spark Shuffle阶段的实现细节，主要内容包括Shuffle机制框架详解和当前Spark 2.12 中已经支持的Shuffle
转载
2024-06-26 16:02:40
45阅读
Spark SQL数据的加载与保存加载数据1）read直接加载数据 scala> spark.read.
csv jdbc json orc parquet textFile… …注意：加载数据的相关参数需写到上述方法中。如：textFile需传入加载数据的路径，jdbc需传入JDBC相关参数。2）format指定加载数据类型 scala> spark.read.format("…"
转载
2023-12-21 15:04:54
206阅读
SparkSQL的Parquet那些事儿浪院长浪尖聊大数据Parquet是一种列式存储格式，很多种处理引擎都支持这种存储格式，也是sparksql的默认存储格式。SparkSQL支持灵活的读和写Parquet文件，并且对parquet文件的schema可以自动解析。当SparkSQL需要写成Parquet文件时，处于兼容的原因所有的列都被自动转化为了nullable。读写Parquet文件//En
原创
2021-03-15 23:48:37
993阅读
flink datastream教程完整版已经更新
原创
2021-07-23 18:26:20
512阅读
http://dblab.xmu.edu.cn/blog/1091-2/
转载
2021-08-05 00:06:02
714阅读
在处理数据时，尤其是在使用 Apache Spark 进行大规模数据处理时，我们经常会遇到数据格式问题，特别是时间戳（timestamp）和字符串（string）之间的转换。本文将详细介绍如何在 Spark Parquet 文件中将时间戳字段设置为字符串格式，包括背景定位、参数解析、调试步骤、性能调优、排错指南以及生态扩展。
### 背景定位
在数据处理的过程中，时间戳字段经常用于表示事件发生
数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。数据倾斜发生时的现象绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task却要一两个小时
转载
2024-09-10 12:01:05
76阅读
