背景早在2013年1月，ORC(Optimized Row Columnar)出现，作为大规模加速Apache Hive和提高存储在Apache Hadoop中的数据的存储效率的计划的一部分。重点是为了提升处理速度和减小文件占用磁盘大小。目前有很多公司已经大规模使用ORC了，比如Facebook 在数仓中使用ORC格式存储数十PB的数据，并且验证了ORC明显快于RC文件和ParquetORC Fi
转载
2024-07-29 19:15:17
73阅读
# 实现HIVE读取excel文件的步骤
## 流程图
```mermaid
erDiagram
确定需求 --> 下载数据
下载数据 --> 创建外部表
创建外部表 --> 导入数据
导入数据 --> 查询数据
查询数据 --> 完成
```
## 步骤及代码
1. **确定需求**
首先需要确定需要读取的excel文件和表格结构，确保HIVE中
原创
2024-07-06 03:43:27
123阅读
Hive
数据仓库，理解为hadoop的客户端，可以通过Hive来操作hadoop。
Hive的功能是把脚本变成MapReduce程序，方便不熟悉MapReduce的开发者来分析数据。
数据存储
Hive的元素存储在关系型数据库中。Hive本身不存储数据，数据存在HDFS上，Hive存储的事Hive到HDFS中数据的映射关系，通过这个映射关系Hive可以操作HDFS上的数
转载
2023-08-22 09:57:55
460阅读
hive读时模式： 1.传统的关系型数据库在进行数据加载时，必须验证数据格式是否符合表字段定义，如果不符合，数据将无法插入 至数据库表中。这种模式称为“写时模式”。 2.hive中，数据加载过程采用“读时模式”，加载数据时不进行校验，读取数据时如果不合法的是NULL Hive DDL数据定义语
转载
2023-12-03 10:33:05
21阅读
摘要： Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL，它允许熟悉 SQL 的用户查询数据
转载
2023-11-30 23:08:36
140阅读
## Hive读不出HDFS文件的解决方法
### 1. 引言
Hive是一个基于Hadoop的数据仓库基础设施，它可以将结构化的数据文件映射为一张数据库表，并提供了类SQL查询语言的查询接口。然而，有时候我们会遇到Hive无法读取HDFS文件的问题。本文将介绍这个问题的解决方法，并提供详细的步骤和代码示例。
### 2. 问题分析
当Hive无法读取HDFS文件时，可能是由于以下原因导致的：
原创
2023-12-07 07:03:18
267阅读
HDFS写数据流程：详细步骤图：详细描述： 1.客户端向NN发送文件上传的请求 2.NN进行一系列的检查：是否有权限，文件的父目录是否存在，文件是否已经存在同名等等，检查通过，允许上传 3.NN告知客户端允许上传 4.客户端发送真正的文件上传的请求，请求包含一个重要信息，文件的长度/大小 5.NN根据文件的长度计算文件的切块的个数（200M/128M = 2）,以及获取文本的配置信息dfs.re
转载
2023-08-03 14:48:26
164阅读
## Hive读不出HDFS文件
在使用Hive进行数据分析时，有时候会遇到Hive读不出HDFS文件的情况。这个问题可能有多种原因，比如文件路径错误、文件权限问题、Hive配置错误等。本文将介绍一些常见的导致Hive无法读取HDFS文件的原因，并提供相应的解决方法。
### 1. 文件路径错误
当使用Hive读取HDFS文件时，首先要确保文件路径正确。HDFS的文件路径以`hdfs://:
原创
2023-11-28 08:47:10
1193阅读
# 使用Hive外表读取压缩文件的全流程指南
在大数据开发中，Hive经常用于分析存储在Hadoop分布式文件系统（HDFS）中的数据。当你的数据存储为压缩文件时，Hive支持直接读取这些文件。本文将详细介绍如何使用Hive外表读取压缩文件，并分步指导你实现这一过程。
## 整体流程
整个流程可分为以下几个步骤：
| 步骤 | 描述 |
| ---
一起重新开始学大数据-hive篇-day49 Hive简介和安装理论部分hive概述
Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL ，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟
转载
2023-10-02 20:19:00
108阅读
之前我们部门在数据分析这边每天的日报都是直接使用hive脚本进行调用，随着APP用户行为和日志数据量的逐渐累积，跑每天的脚本运行需要花的时间越来越长，虽然进行了sql优化，但是上spark已经提上日程。直接进行spark开发需要去学习scala，为了降低数据分析师的学习成本，决定前期先试用sparkSQL，能够让计算引擎无缝从MR切换到spark，现在主要使用pyspark访问hive数据。以下
转载
2023-11-03 10:08:39
82阅读
1. 客户端读取HDFS文件的流程1.1 具体的流程初始化FileSystem，client调用FileSystem对象的open()方法，打开一个HDFS文件。实际，FileSystem对象是一个DistributedFileSystem实例DistributedFileSystem通过RPC调用NameNode，获取一批文件block的位置列表。其中，每个block的副本所在的DataNode
转载
2023-10-19 08:30:42
167阅读
自从我第一次接触这个单词（简写）我就一直纳闷怎么发音，因为旁边的人一直在念circle/'sɜːk(ə)l/，但是我百度了一下，倒是没看到统一的标准。这次找到讲SQL发音历史的一篇文章，我翻译过来看个乐呵SQL存在了几十年了，支撑数十亿美元的市场，但还是有许多人（比如我）纠结其发音，到底是Ess-cue-ell，还是sequel/'siːkw(ə)l/2（外国人根本没发过circle这个音…） ？
# Hive读Hudi文件不存在的实现方法
## 引言
在使用Hive查询Hudi数据时，有时会遇到文件不存在的情况。本文将向刚入行的小白介绍如何处理这个问题。
## 流程概述
下面是处理Hive读取Hudi文件不存在问题的整体流程。
```mermaid
pie
title 流程概述
"检查文件是否存在" : 30
"处理文件不存在" : 70
```
## 步骤
原创
2023-09-25 08:35:57
142阅读
# 解决Hive读不出来HDFS文件的问题
## 导言
Hive是建立在Hadoop之上的一种数据仓库基础架构，它提供了方便的查询和分析大规模数据的能力。然而，有时候我们可能会遇到Hive无法读取HDFS文件的问题，这可能是由于文件路径、权限或其他问题导致的。在本文中，我将向你介绍如何解决这个问题。
## 解决步骤
为了帮助你更好地理解解决Hive无法读取HDFS文件的问题，我将按照以下步骤详
原创
2023-11-30 09:46:44
338阅读
在使用Hive访问存储在Hadoop上的CSV文件时，许多用户可能会遇到读取失败的问题。这种“hive读不到hadoop的csv文件”的困扰常常使得数据分析工作受阻，从而在业务上造成延误，极大影响决策的及时性和依据的可靠性。通常，这样的问题可能会在数据加载工作启动之后的某个时刻渐渐暴露，比如在执行数据查询的过程中。
## 背景定位
在开始之前，我们需要了解一些背景。假设你有一个大型数据分析项目，
hdfs块损坏导致hive执行查询、删除问题时报错。
问题1：hive中无法查询表中的数据信息，但是可以展示表结构等信息。
在hive中建立表，显示表信息均显示成功，部分信息如下：
转载
2023-06-20 10:40:57
301阅读
问题导读1.本文的应用场景是什么？2.Hive读取不到Flume正在写入的HDFS临时文件，该如何解决？实际工作遇到如下场景：应用服务器收集到的日志信息，通过Flume写入到HDFS指定目录，而Hive将其映射到表，进行离线统计。计划计划方式处理：Hive的表创建为外部分区表，例如：1. USE mydb;
2. CREATE EXTERNAL TABLE mytable
3. (
4. c
转载
2023-07-12 18:05:00
353阅读
# 在 PySpark 中读取 Hive 数据的完整指南
在数据分析和大数据处理的世界中，Apache Hive 和 Apache Spark 是两种广泛使用的工具。Hive 提供了一种简单的 SQL 风格的查询语言，而 Spark 则提供了强大的数据处理能力。若想在 PySpark 中读取 Hive 数据，了解基本的流程至关重要。本文将逐步指导你完成这一过程，包括必要的代码和示意图。
##
# Hive读取Kudu
## 介绍
Apache Hive是一个数据仓库基础设施，用于查询和分析存储在Hadoop分布式文件系统（HDFS）中的大型数据集。Kudu是一个快速分析和处理大型数据集的列存储系统。
在本文中，我们将介绍如何使用Hive来读取和查询存储在Kudu中的数据。我们将探讨如何配置Hive和Kudu，并提供一些示例代码来帮助您开始使用。
## 配置Hive和Kudu
原创
2023-08-02 20:28:57
196阅读
