讨论QQ：1586558083目录一、SparkCore、SparkSQL和SparkStreaming的类似之处二、SparkStreaming的运行流程2.1 图解说明2.2 文字解说三、SparkStreaming的3个组成部分四、 离散流（DStream）五、小栗子5.1 简单的单词计数5.2 监控HDFS上的一个目录5.3 第二次运行的时候更新原先的结果5.4 DriverHA 
压缩和存储数据压缩开启Map输出阶段压缩开启Reduce输出阶段压缩数据存储格式创建一个SNAPPY压缩的ORC存储方式的表 数据压缩hive和hadoop一样，也可以使用压缩来节省我们的MR处理的网络带宽。 其中压缩格式和性能，也和hadoop类似。开启Map输出阶段压缩开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。 在hive中执行： 1）开启hive中间
转载
2023-07-12 18:48:00
99阅读
一、压缩相关1. 开启Map输出阶段压缩（MR引擎）开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。具体配置如下： 1）案例实操： （1）开启hive中间传输数据压缩功能hive (default)>set hive.exec.compress.intermediate=true;（2）开启mapreduce中map输出压缩功能hive (default)&
转载
2023-07-14 11:09:13
285阅读
列式存储布局（比如 Parquet）可以加速查询，因为它只检查所有需要的列并对它们的
原创
2022-08-01 20:29:20
482阅读
预期成果1.1 当前问题当前以图搜图应用存在的问题：当前使用spark RDD方案无法达到数据实时加载（每10分钟加载一次，虽然可配，但太短可能会有问题）Spark RDD内存会被分为两部分，一部分用来缓存数据一部分用来计算，Spark默认配置只有差不多50%的内存用于缓存（也就是说executor配了100G，只有50多G可以被用来做缓存），虽然比例可以进行配置，但增加缓
转载
2023-11-19 15:11:24
132阅读
目录一、简介1.1 ORC二、测试环境说明2.1.集群环境2.2 测试数据2.2.1 TPC-H使用1）tpch下载2）解压3)配置4）生成执行命令，生成dbgen2.2.2 建表、sql和数据准备1）建表语句见附件，分别建Textfile、ORC、Parquet表2）导入数据3）查询语句见附件三、Impala查询ORC和Parquet对比四、ORC和Parquet的压缩效率对比五、ORC和Pa
转载
2023-07-20 22:08:55
0阅读
Parquet是可用于Hadoop生态系统中任何项目的开源文件格式。与基于行的文件（例如CSV或TSV文件）相比，Apache Parquet旨在提供高效且高性能的扁平列式数据存储格式。Parquet使用记录粉碎和组装算法，该算法优于嵌套名称空间的简单拼合。Parquet经过优化，可以批量处理复杂的数据，并采用不同的方式进行有效的数据压缩和编码类型。这种方法最适合需要从大型表读取某些列的查询。Pa
转载
2024-04-25 15:30:16
50阅读
### 整体流程
首先，我们需要创建一个 Spark DataFrame，并将其注册为一个临时视图（TempView），然后将这个DataFrame以Parquet格式保存到文件系统中。接下来，我们可以通过使用createOrReplaceTempView函数将这个Parquet文件加载回Spark DataFrame中。
以下是整个流程的步骤概述：
| 步骤 | 描述 |
| --- |
原创
2023-11-10 09:15:17
61阅读
# 加快Spark扫描Parquet的性能优化
## 背景介绍
在大数据处理领域，Apache Spark是一个非常流行的分布式计算框架，而Parquet是一种高效的列式存储格式。然而，有时候我们会发现在使用Spark来扫描Parquet文件时，性能并不理想，扫描速度较慢。这可能会影响到我们的数据处理效率和用户体验。所以，本文将介绍一些优化方法，来加快Spark扫描Parquet的性能。
#
原创
2024-02-28 07:41:41
223阅读
date: 2020-07-20 16:15:00
updated: 2020-07-27 13:40:00Parquet 源码解析Parquet文件是以二进制方式存储的，所以是不可以直接读取的，文件中包括该文件的数据和元数据，因此Parquet格式文件是自解析的。在HDFS文件系统和Parquet文件中存在如下几个概念。HDFS块(Block)：它是HDFS上的最小的副本单位，HDFS会把一个B
转载
2024-07-04 05:27:15
132阅读
1、设计目标 1、实时的OLTP+OLAP型的操作2、数据规模在50TB-100TB以下：太大规模的数据(PB规模)，还要求实时出结果的场景，并不是SnappyData的设计目标。3、微批的流失写入：实时数据的写入最好按批次写入。例如列表上的频繁的基于点的update，效率并不是很高。 2、数据流 上图介绍了流数据的注入以及数据分析的过程，如下：1、当集群搭建完成，此时就可以从外部数据源导
# HiveSQL输出Parquet文件压缩的科普文章
在现代大数据处理和分析领域，数据的存储格式与压缩方式往往直接影响到性能、存储成本和查询效率。其中，Parquet作为一种列式存储格式，能够大幅提升读取特定列的性能，且支持高效的数据压缩。本文将介绍如何使用HiveSQL将数据输出为压缩的Parquet文件，并提供相关的代码示例。
## Parquet与压缩
Parquet是一种开源的列式
原创
2024-08-03 09:58:04
114阅读
/tmp/dj/20170622.1498060818603为json数据 将数据压缩存储成p
原创
2023-04-11 20:39:07
231阅读
# Hive Parquet 非压缩格式
## 引言
在大数据领域，Hive 是一种常用的数据仓库架构，用于处理和分析大规模数据集。而 Parquet 是一种列式存储格式，被广泛应用于大数据处理场景中。在 Hive 中，我们可以使用 Parquet 格式来存储数据，并选择是否压缩。本文将介绍 Hive Parquet 非压缩格式的特点和用法，并提供相应的代码示例。
## Parquet 列式
原创
2023-09-23 10:22:24
77阅读
# Hive 设置 Parquet 输出压缩的方法
当你在使用 Apache Hive 进行数据处理和分析时，经常需要将数据存储在 Parquet 格式中。Parquet 是一种列式存储格式，支持高效数据压缩和编码，能够显著减少存储空间和提高查询性能。本文将详细介绍如何在 Hive 中设置 Parquet 输出压缩，适合刚入行的小白。
## 流程概述
在 Hive 中实现 Parquet 输
原创
2024-08-03 09:56:56
96阅读
Hive中的文件格式1-TEXTFILE文本格式，Hive的默认格式，数据不压缩，磁盘开销大、数据解析开销大。对应的hive API为：org.apache.hadoop.mapred.TextInputFormat和org.apache.hive.ql.io.HiveIgnoreKeyTextOutputFormat；可结合Gzip、Bzip2使用(系统自动检查，执行查询时自动解压)，但是使用这
转载
2023-07-12 18:48:37
252阅读
Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器升级为顶级项目。列式存储和行氏存储相比，有哪些优势？ 1、可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量； 2、压缩编码可以降低磁盘存储空间，由于同一列的数据类型是一样的，可以使用更高效压缩编码（例如Run Length Encoding和Delta Encod
转载
2024-04-10 11:00:19
12阅读
Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器里毕业成为Apache顶级项目，最新的版本是1.8.0。列式存储列式存储和行式存储相比有哪些优势呢？
可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量。压缩编码可以降低磁盘存储空间。由于同一列的数据类型是一样的，可以使用更高效的压缩编码（例如Run Length
转载
2017-01-21 00:11:00
189阅读
2评论
Parquet是一种流行的列式存储格式，可以高效地存储具有嵌套字段的记录，还可以
原创
2022-10-31 12:36:45
318阅读
# Spark Parquet 追加写入的详解
Apache Spark 是一个强大的大数据处理框架，可以高效地处理和分析大批量数据。在数据存储方面，Parquet 是一种常用的列式存储格式，它非常适合于快速的数据读取和高效的存储。本文将介绍如何在 Spark 中实现 Parquet 格式的追加写入，并提供相关的代码示例。
## 什么是 Parquet？
Parquet 是一种基于列的存储文
原创
2024-10-28 07:06:49
357阅读
