列式存储布局（比如 Parquet）可以加速查询，因为它只检查所有需要的列并对它们的
原创
2022-08-01 20:29:20
482阅读
使用sparksql访问几个hive表join的情况时结果为空，且这个sql在hive里执行是成功的。val sparkSession = SparkSession
.builder()
.config("jars","lib/*")
.appName("Spark Hive Example")
.enableHiveSupport()
转载
2023-06-01 15:47:54
174阅读
Parquet是一种流行的列式存储格式，可以高效地存储具有嵌套字段的记录，还可以
原创
2022-10-31 12:36:45
318阅读
# 用Java Spark读取Parquet文件
Parquet是一种列式存储格式，被广泛用于大数据处理领域。它的设计目标是高效地存储和处理大量的结构化数据，具有良好的压缩率和查询性能。本文将介绍如何使用Java Spark读取Parquet文件，并提供相应的代码示例。
## 什么是Parquet文件？
Parquet文件是一种高效的列式存储格式，广泛用于大数据处理和分析中。与传统的行式存储
原创
2023-10-20 13:19:59
463阅读
Spark的数据读取即数据保存可以从两个维度来做区分：文件格式以及文件系统。文件格式分为：Text文件，Json文件，Csv文件，Sequence文件以及Object文件；文件系统分为：本地文件系统，HDFS，HBase以及数据库。1. 文件类数据读取与保存1.1 Text文件数据读取：textFile(String)var hdfsFile = sc.textFile("hdfs://hadoo
转载
2024-02-28 14:58:03
72阅读
数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。数据倾斜发生时的现象绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task却要一两个小时
转载
2024-09-10 12:01:05
76阅读
前言做大数据开发的肯定都知道小文件的弊端读取阶段：spark在读取文件时会根据文件的数
原创
2022-08-05 10:15:45
1871阅读
MapReduce - 读取数据通过InputFormat决定读取的数据的类型，然后拆分成一个个InputSplit，每个InputSplit对应一个Map处理，RecordReader读取InputSplit的内容给MapInputFormat决定读取数据的格式，可以是文件或数据库等功能验证作业输入的正确性，如格式等将输入文件切割成逻辑分片(InputSplit)，一个InputSplit将会被
# 如何用Python读取Parquet文件
## 简介
在数据处理中，Parquet是一种常用的文件格式，它可以提高数据的读取速度和降低存储成本。本文将教你如何使用Python读取Parquet文件，适用于新手入门的开发者。
## 流程图
```mermaid
flowchart TD
A[准备Parquet文件] --> B[导入必要的库]
B --> C[读取Parque
原创
2024-05-24 05:54:26
353阅读
# Java读取Parquet文件的科普
Parquet是一种列式存储文件格式，广泛用于大数据处理场景，尤其是在使用Apache Hadoop和Apache Spark时。与传统的行式存储相比，Parquet通过列式存储能够显著提高数据压缩和读取效率。本文将讨论如何使用Java读取Parquet文件，并提供相应的代码示例。
## 主要依赖
为了在Java项目中读取Parquet文件，首先需要
原创
2024-08-12 05:44:10
67阅读
# 读取 Parquet 文件的 Java 实践
在大数据处理领域，Parquet 是一种流行的列式存储文件格式，它被广泛应用于数据仓库和数据湖中。Parquet 文件具有高效的压缩率和读取速度，适合存储大规模的结构化数据。在 Java 中，我们可以使用 Apache Parquet 库来读取 Parquet 文件，实现数据的快速加载和分析。
## Parquet 文件结构
Parquet
原创
2024-05-17 05:43:32
130阅读
在数据分析与模型训练中，`PyTorch`与`Parquet`文件的结合能够高效地处理大规模数据。`Parquet`作为一种列式存储格式，可以在提高读写性能的同时节省存储空间，因此可以非常有效地与`PyTorch`结合使用，进而提高数据处理效率。接下来，我们来系统地探讨如何解决“`PyTorch` 读取`Parquet`”的问题。
## 环境预检
在部署之前，我们需要对环境进行预检，确保所有依
我使用的环境是Ubuntu系统，以及Python。当然Windows及macOS也可以，环境略有不同，但是代码都是一样的。大家好，对于一名天文学新学生来说，首先需要接触到的文件格式就是 .Fits ，本文将简单讨论什么是Fits文件？我们该如何读取它其中的数据呢？由于作者也是刚刚踏入天文学这个专业，学识水平有限，如有错误之处，希望大家提出建议，多多指正！1. Fits文件格式简介。FITS 全称是
# Java读取Parquet文件
Parquet是一种高效的列式存储格式，广泛应用于大数据处理和分析领域。在Java中，我们可以使用Apache Parquet库来读取和操作Parquet文件。本文将介绍如何使用Java读取Parquet文件，并提供相应的代码示例。
## 1. 添加依赖
首先，我们需要在项目中添加Apache Parquet的依赖。可以在`pom.xml`文件中添加以下依
原创
2023-08-01 09:40:10
1176阅读
# Parquet 文件在 Java 中的读取指南
在大数据领域，Parquet 是一种非常常见的列式存储文件格式。它的高效压缩和良好的支持，使得在 Java 中读取 Parquet 文件成为一项重要的技能。本文将逐步引导您如何在 Java 中读取 Parquet 文件，确保您能快速上手。
## 流程概述
在开始之前，以下是读取 Parquet 文件的整个流程概述：
| 步骤 | 描述
原创
2024-08-27 07:51:16
67阅读
# Python读取parquet文件
Parquet 是一种列式存储格式，它在大数据处理中被广泛使用。Python提供了一些库可以用来读取 Parquet 文件，例如 `pyarrow`。在本文中，我们将介绍如何使用 Python 读取 Parquet 文件。
## 安装pyarrow
首先，我们需要安装 `pyarrow` 库。可以通过 `pip` 来安装：
```bash
pip i
原创
2024-05-05 06:15:56
377阅读
### 整体流程
首先，我们需要创建一个 Spark DataFrame，并将其注册为一个临时视图（TempView），然后将这个DataFrame以Parquet格式保存到文件系统中。接下来，我们可以通过使用createOrReplaceTempView函数将这个Parquet文件加载回Spark DataFrame中。
以下是整个流程的步骤概述：
| 步骤 | 描述 |
| --- |
原创
2023-11-10 09:15:17
61阅读
# 加快Spark扫描Parquet的性能优化
## 背景介绍
在大数据处理领域，Apache Spark是一个非常流行的分布式计算框架，而Parquet是一种高效的列式存储格式。然而，有时候我们会发现在使用Spark来扫描Parquet文件时，性能并不理想，扫描速度较慢。这可能会影响到我们的数据处理效率和用户体验。所以，本文将介绍一些优化方法，来加快Spark扫描Parquet的性能。
#
原创
2024-02-28 07:41:41
223阅读
1、设计目标 1、实时的OLTP+OLAP型的操作2、数据规模在50TB-100TB以下：太大规模的数据(PB规模)，还要求实时出结果的场景，并不是SnappyData的设计目标。3、微批的流失写入：实时数据的写入最好按批次写入。例如列表上的频繁的基于点的update，效率并不是很高。 2、数据流 上图介绍了流数据的注入以及数据分析的过程，如下：1、当集群搭建完成，此时就可以从外部数据源导
讨论QQ：1586558083目录一、SparkCore、SparkSQL和SparkStreaming的类似之处二、SparkStreaming的运行流程2.1 图解说明2.2 文字解说三、SparkStreaming的3个组成部分四、 离散流（DStream）五、小栗子5.1 简单的单词计数5.2 监控HDFS上的一个目录5.3 第二次运行的时候更新原先的结果5.4 DriverHA 
