这几天研究hive表的存储方式和压缩模式。在这里做一个简单的总结hive表的存储样例 ： 我的表：rp_person_house_loan_info 数据总量：1933776textfile： （1）hive数据表的默认格式，存储方式：行存储 。 （2） 可使用Gzip,Bzip2等
转载
2023-07-13 21:40:11
119阅读
# Hive压缩输出实现指南
## 引言
在Hive中，压缩输出可以大幅减小数据量，提高数据存储和传输效率。本篇文章将指导你如何在Hive中实现压缩输出。
## 流程概述
下面的表格展示了实现Hive压缩输出的主要步骤。
| 步骤 | 描述 |
| ------ | ------ |
| 步骤一 | 配置Hive的输出压缩属性 |
| 步骤二 | 创建Hive表 |
| 步骤三 | 指定输出
原创
2024-01-25 11:43:32
26阅读
对于MR作业，压缩中间数据，可以减少磁盘操作，减少网络传输数据量，进而提交查询速度。 对此整理下日常生活中出现的疑惑点。 hadoop对每个压缩格式的支持 压缩格式 工具 算法 文件扩展名 多文件 可分割性 DEFLATE 无 DEFLATE .deflate 不 不&nbs
一，Hive的数据压缩在实际工作当中，hive当中处理的数据一般都需要经过压缩，例如在map端产生的数据进行压缩或在reduce端产生的数据也进行压缩后再输出。这样可以节省我们的网络带宽。 1.1 MR支持的压缩编码 为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示： 压缩性能的比较
转载
2023-07-12 22:05:14
236阅读
在使用 IntelliJ IDEA (通常简称为 IDEA) 的过程中，输出 Hive 查询结果成为一项常见任务。Hive 是一种数据仓库基础设施，允许用户通过类 SQL 的查询处理与 Hadoop 生态系统中的海量数据交互。为了在 IDEA 中高效展示和分析 Hive 的查询结果，本文将系统性地记录解决这一问题的过程。
## 协议背景
Hive 自 2008 年首次提出以来，为大数据处理带来
Hive是一种基于Hadoop的数据仓库工具，它可以将结构化数据映射到Hadoop分布式文件系统（HDFS）上，并提供了类似于SQL的查询语言HQL（Hive Query Language）来对数据进行分析和查询。
在使用Hive进行数据分析时，我们可以通过执行`DESCRIBE`命令来查看表的结构和元数据信息。本文将介绍如何使用Hive的`DESCRIBE`命令，并通过代码示例来演示其用法。
原创
2023-12-26 05:09:59
229阅读
Hadoop Hive数据格式文件格式 txt 面向行 可分割并行计算 非原 查看简单编辑简单 无压缩、占磁盘大、IO压力大 seq 面向行 可分割并行计算 原生 二进制kv存储,支持行压缩和块压缩 压缩 &n
转载
2023-07-12 12:47:55
87阅读
# Hive 设置 Parquet 输出压缩的方法
当你在使用 Apache Hive 进行数据处理和分析时，经常需要将数据存储在 Parquet 格式中。Parquet 是一种列式存储格式，支持高效数据压缩和编码，能够显著减少存储空间和提高查询性能。本文将详细介绍如何在 Hive 中设置 Parquet 输出压缩，适合刚入行的小白。
## 流程概述
在 Hive 中实现 Parquet 输
原创
2024-08-03 09:56:56
96阅读
一个输入分片（split）就是一个由单个map操作来处理的输入块。每一个map操作只处理一个输入分片。每个分片被划分为若干个记录，每条记录就是一个键-值对，map一个接一个地处理记录。输入分片和记录都是逻辑概念，不必将它们对应到文件，尽管其常见形式都是文件。在数据库场景中，一个输入分片可以对应于一个表上的若干行，而一条记录对应到一行（如同DBInputFormat，这种输入格式用于从关系型数据库读
转载
2024-09-09 19:40:52
38阅读
一、导出到本地导出查询结果到本地：INSERT OVERWRITE LOCAL DIRECTORY "/tmp/hive-result/t_visit_video"
SELECT * FROM t_visit_video ;导出到的本地路径不必已经存在，会自动创建父目录，导出的查询结果会是一个文件夹，文件夹下存放着本次查询的结果，如果结果集比较大的话会分块存放。 每个数据块还
转载
2024-02-05 12:32:24
366阅读
# Hive查询结果输出文件的实现
## 引言
Hive是一个基于Hadoop的数据仓库工具，其提供了SQL类似的查询语言HiveQL用于查询和分析大规模数据。在Hive中，我们可以通过执行查询语句来获取特定条件下的数据结果。然而，有时候我们希望将查询结果保存到文件中，以便后续处理或者共享给其他人。本文将指导您如何在Hive中实现查询结果输出到文件的操作。
## 整体流程
下面是实现Hive查
原创
2023-08-16 13:15:51
647阅读
# Hive的结果输出到文件：一个简单指南
Hive是一个基于Hadoop的数据仓库工具，它允许用户使用类似SQL的查询语言（HiveQL）来查询存储在Hadoop集群中的数据。在进行数据分析和处理时，我们经常需要将查询结果输出到文件中，以便进一步使用或分析。本文将介绍如何将Hive查询的结果输出到文件，并提供一些示例代码。
## 1. Hive查询结果输出到文件的基本方法
在Hive中，将
原创
2024-07-26 06:35:44
185阅读
# 在Hive中将查询结果输出到文件的完整流程
在大数据技术的环境中，Hive作为一个数据仓库系统，能够用来进行数据查询和分析。为了将Hive查询的结果输出到文件中，我们需要经过以下几个步骤。这篇文章将详细阐述这些步骤，并附上相应的代码示例，让你能够顺利完成操作。
## 流程概述
下面是将Hive查询结果输出到文件的主要步骤：
| 步骤 | 描述
原创
2024-08-04 07:39:22
238阅读
## Shell脚本输出Hive SQL结果
### 概述
在大数据领域，Hive是一款常用的数据仓库工具，可以用于处理大规模的结构化数据。在实际应用中，我们经常需要将Hive SQL的执行结果导出到其他系统或者进行后续的处理。Shell脚本是一种非常常用的脚本语言，可以用于自动化地执行一系列的命令。本文将介绍如何使用Shell脚本来输出Hive SQL的执行结果。
### 准备工作
首先
原创
2023-11-15 13:33:06
326阅读
当Hive输入由很多个小文件组成，由于每个小文件都会启动一个map任务，如果文件过小，以至于map任务启动和初始化的时间大于逻辑处理的时间，会造成资源浪费，甚至OOM。 为此，当我们启动一个任务，发现输入数据量小但任务数量多时，需要注意在Map前端进行输入合并 当然，在我们向一个表写数据时，也需要注意输出文件大小 1. Map输入合并小文件 对应参数： set mapred.max.split.
转载
2023-10-22 17:35:00
73阅读
# 如何使用Hive和Spark统计记录数
## 引言
在大数据分析和处理中，统计数据集的记录数是一个常见的任务。Hive和Spark是两个常用的工具，可以用来处理和分析大规模数据集。本文将介绍如何使用Hive和Spark来统计记录数，并给出相关的示例代码。
## Hive中统计记录数
Hive是一个基于Hadoop的数据仓库工具，它使用类SQL的查询语言HQL来进行数据分析和查询。在Hi
原创
2023-12-31 05:41:07
75阅读
# Hive对describe的输出结果求和的科普文章
Hive是一个基于Hadoop的数据仓库工具，用于对存储在分布式存储系统上的大数据进行查询和管理。在Hive中，`DESCRIBE`语句用于显示表的元数据信息，包括列名、数据类型、分区信息等。本文将介绍如何对`DESCRIBE`的输出结果进行求和操作，并通过代码示例和状态图、关系图进行说明。
## 1. Hive DESCRIBE 命令
原创
2024-07-30 07:21:50
168阅读
1. 学习资料hive 官网： 不区分版本，所有信息都在一个文件汇总，会标记适合哪些版本ddl https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL一、ddl 及 dml1) Create/Drop/Alter/Use Database
create database if not exists test_db;
s
转载
2024-06-13 05:51:33
200阅读
目录一、Hadoop 压缩配置1. MR 支持的压缩编码2. 压缩参数配置二、开启 Map 输出阶段压缩 (MR 引擎)三、开启 Reduce 输出阶段压缩四、文件存储格式1. 列式存储和行式存储2. TextFile 格式3. Orc 格式五、存储和压缩结合测试存储和压缩 一、Hadoop 压缩配置1. MR 支持的压缩编码为了支持多种压缩/解压缩算法，Hadoop 引入了编码/解码器，如下表
转载
2024-07-03 09:50:44
23阅读
Hive 高级篇1. Hive 数据存储格式（数据压缩）1.1 Hive 数据压缩1.2 Hive 开启数据压缩1.3 数据存储格式——行式存储1.4 数据存储格式——列式存储1.5 存储文件格式1.6 文件压缩1.7 HIve 分层的常见压缩方式 2. Hive 调优（上）2.1 Fetch 抓取机制2.2 mapreduce 本地模式2.3 严格模式2.4 并行执行机制2.5 小文件合并的操
转载
2023-07-26 14:32:14
171阅读
