文章目录一、关于 Hadoop 的 hdfs1、hdfs 中的节点2、分布式存储4、java 连接 hdfs5、hdfs 读取流程6、hdfs 写入流程总结 I know, i know 地球另一端有你陪我 一、关于 Hadoop 的 hdfs 1、hdfs 中的节点从节点（data node）负责存储数据： 数据节点具有储存数据、读写数据的功能， 其中存储的数据块（block）比较类似于硬
转载
2023-09-04 15:51:20
63阅读
Hive安装与配置安装前准备三台虚拟机master、slave1、slave2配置hadoop用户，之间免密登录，时钟同步，hadoop健康可用Hadoop与Hive的整合因为Hive需要把数据存储在HDFS上，并且通过MapReduce作为引擎处理数据； 因此需要在Hadoop中添加相关配置属性，以满足Hive在Hadoop上允许。 修改Hadoop中core-site.xml，并且Hadoop
转载
2023-06-12 20:22:19
700阅读
客户端在连接hiveserver2时，会在hdfs上创建${hive.exec.scratchdir}/<username> （开启doAs为登录用户，否则为启动用户）目录，用于存放作业执行过程中产生的临时文件，在执行某些作业时会产生大量的临时文件，如遇客户端异常或jvm异常退出，造成数据无法清理。hive提供如下方案解决清理临时文件问题：1、 hive.start.clea
转载
2023-08-18 22:50:03
183阅读
一，库操作 1.1 语句结构 1.2 创建库二，表操作 2.1 语法结构 2.2 基本建表语句 2.3 删除表 2.4 内部表和外部表 2.5 分区表 2.6 CTAS建表语法三，数据导入和导出 3.1 将文件导入hive的表 3.2 将hive表中的数据导出到指定的路径文件 3.3 hive的文件格式四，修改表定义 正文一，库操作1.1 语句结构 C
# Hive保存HDFS文件的原理及实现步骤
作为一名经验丰富的开发者，我将为你解释Hive保存HDFS文件的原理，并提供每一步所需的代码和注释。下面是整个过程的流程图：
```mermaid
pie
title Hive保存HDFS文件的原理
"创建表" : 30
"加载数据" : 20
"执行查询" : 40
"保存结果" : 10
```
##
原创
2023-10-29 06:55:56
39阅读
1、Hive与HDFSHive中的数据库就是底层HDFS中的一个文件夹；Hive中的表就是库名文件夹下的子文件夹；Hive中的数据就是表文件夹下的文件；Hive中的hql会转换为底层的MR来执行；Hive默认库对应HDFS中的/usr/hive/warehouse；2、Hive的元数据（默认是Derby，可以修改MySQL作为存储）用来保存描述库、表、列的数据。默认存储在derby数据库中，可以修
转载
2023-07-12 22:22:01
308阅读
## Hive执行HDFS上的脚本
### 1. 整体流程
为了执行HDFS上的脚本，我们需要按照以下步骤进行操作：
| 步骤 | 动作 |
| ---- | ---- |
| 步骤1 | 连接到Hive服务器 |
| 步骤2 | 使用"!dfs"命令查看HDFS上的文件列表 |
| 步骤3 | 使用"!run"命令执行HDFS上的脚本文件 |
### 2. 每一步的操作和代码
####
原创
2023-10-04 14:28:13
155阅读
hive的分区和分桶 2016年10月26日 09:50:38
阅读数：3999 1、Hive 分区表在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。分区表指的是在创建表时指定的partition的分区空间。 Hive可以对数据按照某列或者某些列进行分区管理，所
转载
2023-07-12 21:50:51
52阅读
目录：HDFS是什么HDFS架构HDFS组件及其作用HDFS副本放置原则HDFS读写过程HDFS优缺点HDFS常用配置HDFS常用命令一、HDFS是什么1. HADOOP 1.0 中有两个模块： Hadoop分布式文件系统HDFS(Hadoop Distrbuted File System)、分布式计算框架MapReduce。2. HADOOP 2.0 对HADOOP 1.0进行了改进。· 增加了
转载
2024-06-23 13:47:11
56阅读
Apache Hive™数据仓库软件有助于读取，编写和管理驻留在分布式存储中的大型数据集并使用SQL语法进行查询Hive 特性Hive构建于Apache Hadoop™之上，提供以下功能：通过SQL轻松访问数据的工具，从而实现数据仓库任务，如提取/转换/加载(ETL)，报告和数据分析。一种在各种数据格式上强加结构的机制访问直接存储在Apache HDFS™或其他数据存储系统(如Apache HBa
转载
2023-12-29 12:32:43
49阅读
# Hive如何删除HDFS上的目录
Hive是一种在Hadoop上运行的数据仓库基础设施，它使用Hadoop Distributed File System（HDFS）来存储数据。在Hive中，可以通过执行Hive的删除命令来删除HDFS上的目录。本文将介绍如何使用Hive删除HDFS上的目录，并提供相应的代码示例。
## Hive删除HDFS上的目录的逻辑
Hive删除HDFS上的目录的
原创
2024-01-27 05:21:55
68阅读
在大数据领域，Hive SQL 是一种常用的查询语言，可以方便地对存储在Hadoop 分布式文件系统（HDFS）中的数据进行查询和分析。然而，有时我们需要删除在 HDFS 上存储的数据，以释放存储空间或者清理无用数据。本文将介绍如何使用 Hive SQL 删除 HDFS 上的数据，并提供相应的代码示例供参考。
### 1. Hive SQL 删除 HDFS 上的数据
在 Hive SQL 中，
原创
2024-02-24 07:56:28
250阅读
介绍
Apache Hive是一个构建于Hadoop的数据仓库，注意不是数据库。Hive可以看成是用户编程接口或者数据库的逻辑层，它本身并不存储和计算数据，它依赖于基于数据库（基于HDFS）和Mapreduce，也就是说Hive本身并不存储数据。其对数据操作的语言类似于SQL，名为HQL。
Hive可以基于mysql和hbase，其自带了一个数据库Derby（坑爹的数据库）。
转载
2024-03-13 23:43:27
97阅读
## 修改Hive中保存的HDFS文件地址
Hive是一个基于Hadoop的数据仓库基础设施，它提供了类似于SQL的查询语言HiveQL，用于分析和查询存储在Hadoop集群中的大规模数据。在Hive中，数据是以表的形式组织和表示的，而表的数据存储在HDFS（Hadoop分布式文件系统）中。
有时候，我们可能需要修改Hive中保存的HDFS文件地址，比如将数据从一个HDFS目录移到另一个目录，
原创
2023-10-19 13:27:29
172阅读
# 修改Hive元数据中的HDFS位置
在使用Hive进行数据分析时，我们通常将数据存储在HDFS上，并通过Hive表来管理和查询数据。但有时候我们需要修改Hive元数据中表的HDFS存储位置，可能是因为数据迁移、存储优化等原因。本文将介绍如何通过Hive命令和HQL语句来修改Hive元数据中表的HDFS位置。
## 1. 查看表的存储位置
在修改表的HDFS存储位置之前，首先需要查看表当前
原创
2024-07-08 04:21:24
73阅读
# 查看HDFS上Hive表数据
在使用Hive进行数据处理时，我们经常需要查看Hive表中的数据，以便进行数据分析和调试。Hive表数据存储在HDFS上，因此可以通过HDFS命令或Hive SQL语句来查看表数据。
## 查看Hive表数据的几种方式
### 1. 使用HDFS命令查看
可以通过HDFS命令来查看Hive表数据文件的内容。首先需要找到Hive表对应的HDFS路径，然后使用
原创
2024-05-04 04:40:04
300阅读
# Spark读取Hive数据保存到HDFS
在大数据处理领域，Hadoop生态系统中的两个核心组件是Hive和Spark。Hive是一个基于Hadoop的数据仓库工具，可以通过类SQL语言(HiveQL)查询和分析数据。而Spark是一个用于大规模数据处理的快速通用计算引擎。
在实际项目中，我们经常需要将Hive中的数据进行处理后保存到HDFS中，以进行后续的分析和挖掘。本文将介绍如何使用S
原创
2024-01-24 05:40:38
135阅读
# 在HDFS上存储Hive数据文件
Hive是一个基于Hadoop的数据仓库工具，它提供了类似于SQL的查询语言HiveQL，允许用户在Hadoop集群上进行数据分析。Hive的数据文件通常存储在HDFS（Hadoop分布式文件系统）上，这样可以保证数据的可靠性和高可用性。本文将介绍如何在HDFS上存储Hive数据文件，并给出相应的代码示例。
## Hive数据文件存储在HDFS上的优势
原创
2024-02-23 05:36:55
54阅读
## 如何将HDFS上的数据导入Hive
### 介绍
Hadoop Distributed File System（HDFS）和Apache Hive是Hadoop生态系统的两个重要组件。HDFS是一个可扩展和容错的分布式文件系统，用于存储大规模数据集。Hive是一个数据仓库基础设施，它提供了对大规模数据集的查询和分析能力。本文将介绍如何将HDFS上的数据导入Hive，并提供相应的代码示例。
原创
2023-08-16 06:21:02
765阅读
# 如何修改Hive表在HDFS上的路径
## 1. 操作流程
下面是修改Hive表在HDFS上的路径的具体步骤：
| 步骤 | 操作 |
| ---- | --- |
| 1 | 进入Hive交互式命令行界面 |
| 2 | 使用`ALTER TABLE`语句修改表的存储路径 |
| 3 | 重命名HDFS上的表目录 |
## 2. 详细步骤
### 步骤1：进入Hive交互式命令行界
原创
2024-04-12 05:43:11
362阅读
