hbase：是一个适合于非结构化数据存储的数据库，是基于列的而不是基于行的模式，HBase利用Hadoop MapReduce来处理HBase中的海量数据。HDFS: 是GFS的一种实现，他的完整名字是分布式文件系统，类似于FAT32，NTFS，是一种文件格式，是底层的。 Hive与Hbase的数据一般都存储在HDFS上。Hadoop HDFS为他们提供了高可靠性的底层存储支持。hive：是一个数
转载
2023-07-12 18:11:31
97阅读
在hive中，较常见的文件存储格式有：TestFile、SequenceFile、RcFile、ORC、Parquet、AVRO。默认的文件存储格式是TestFile，在建表时若不指定默认为这个格式，那么导入数据时会直接把数据文件拷贝到hdfs上不进行处理。除TestFile外的其他格式的表不能直接从本地文件导入数据，数据要先导入到TestFile格式的表中，然后再从表中用insert
转载
2024-07-19 14:06:20
89阅读
一、hive简介 Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步将它作为名义下Apache Hive为一个开源项目。Hive 没有专门的数据格式。
转载
2023-10-25 11:05:42
101阅读
1、Hive表关联查询，如何解决数据倾斜的问题？（☆☆☆☆☆）1）倾斜原因：map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。（1）key分布不均匀;（2）业务数据本身的特性;（3）建表时考虑不周;（4）某些SQL语句本身就有数据倾斜;如何避免：对于key为空产生的数据倾斜，可
转载
2024-08-14 21:49:48
51阅读
# Hive删除HDFS文件目录教程
## 简介
在Hive中，我们有时需要删除HDFS文件目录。本教程将教导你如何使用Hive删除HDFS文件目录。在本教程中，我们假设你已经具备基本的Hive和HDFS操作知识，并且已经正确安装和配置了Hive。
## 整体流程
下面是删除HDFS文件目录的整体流程：
步骤 | 操作
---- | ----
1 | 启动Hive终端
2 | 设置Hiv
原创
2023-12-05 16:20:22
387阅读
设置属性：//设置本地执行作set hive.exec.mode.local.auto=true;//设置动态分区set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nostrict;//设置reduce task数量set mapred.reduce.tasks=2;//对mapjoin优
转载
2024-06-02 17:06:16
112阅读
对于刚接触大数据的用户来说，要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析，以作抛砖引玉之用。 Hive是什么？Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库，注意这里不是数据库。Hive可以看作是用户编程接口，它本身不存储和计算数据；它依赖于HDFS(Hadoop分布式文件系统)和MapRe
转载
2023-07-14 11:36:17
317阅读
# 如何使用Hive删除HDFS数据
## 引言
在Hadoop生态系统中，Hive是一个非常流行的数据仓库解决方案，它提供了一个SQL样式的查询语言，用于从大规模数据集中进行数据分析和处理。在某些情况下，我们可能需要删除HDFS中的一些数据，本文将介绍如何使用Hive来删除HDFS中的数据。
## 删除HDFS数据的流程
下面是删除HDFS数据的基本流程：
| 步骤 | 描述 |
| -
原创
2024-01-06 03:28:25
210阅读
HDFS： Hadoop 的分布式文件系统称为 HDFS，它是为以流式数据访问模式存储超大文件而设计的文件系统。HDFS适合：存储并管理PB级数据处理非结构化数据注重数据处理的吞吐量应用模式为：一次写多次读不适合：存储小文件大量的随机度需要修改文件总结：HDFS 是设计成适应一次写入，多次读出的场景，且不支持文件的修改。 正因为如此，
转载
2024-03-05 10:28:27
111阅读
Hive 是一个建立在hadoop文件系统上的数据仓库架构，可以用其对hdfs上数据进行分析与管理。实际上是将hdfs上的文件映射成table（按文件格式创建table,然后h
转载
2023-03-02 04:52:32
296阅读
Hive
数据仓库，理解为hadoop的客户端，可以通过Hive来操作hadoop。
Hive的功能是把脚本变成MapReduce程序，方便不熟悉MapReduce的开发者来分析数据。
数据存储
Hive的元素存储在关系型数据库中。Hive本身不存储数据，数据存在HDFS上，Hive存储的事Hive到HDFS中数据的映射关系，通过这个映射关系Hive可以操作HDFS上的数
转载
2023-08-22 09:57:55
460阅读
Hive1.什么是Hive，Hive运行架构Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。通过Hive，我们可以方便地进行ETL(extract抽取/transform转化/load加载)的工作。1.Hive与Hbase的区别Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单
转载
2023-07-12 11:06:22
356阅读
内表：删表删数据 （hdfs上的文件数据） 外表：删表不删数据（hdfs上的文件数据）内表 创建表时没加external，默认是内表所有的 Table 数据（不包括 External Table）都保存在warehouse这个目录中。删除表时，元数据与数据都会被删除创建过程和数据加载过程（这两个过程可以在同一个语句中完成），在加载数据的过程中，实际数据会被移动到
转载
2023-10-23 09:07:39
108阅读
我们了解了数据仓库的基础知识，大概对数据仓库有了一个基本认识。接下来，我们来更进一步的了解数据仓库。就像我们学习数据库时学习mysql一样，我们学习学习数据仓库的HIVE.HIVE了解hive之前，我们其实需要学习下hadoop。不然你不知道hive是干啥的。HadoopHadoop实现了一个分布式文件系统,其中一个组件是HDFS(hadoop Distributed File System).
转载
2023-07-13 16:56:36
163阅读
概念介绍分块在HDFS系统中，为了便于文件的管理和备份，引入分块概念（block）。这里的 块 是HDFS存储系统当中的最小单位，HDFS默认定义一个块的大小为64MB。当有文件上传到HDFS上时，若文件大小大于设置的块大小，则该文件会被切分存储为多个块，多个块可以存放在不同的DataNode上，整个过程中 HDFS系统会保证一个块存储在一个datanode上 。但值得注意的是 如果某文件大小没有
转载
2023-09-03 16:33:21
123阅读
云计算 - 2 - HDFS文件系统的基本操作目标1、使用命令行操作 HDFS 文件系统2、使用 java-api 操作 hdfs 文件系统遇到的问题 目标1、HDFS 文件系统命令行操作，包括加入、修改、更新和删除 HDFS 文件系统中的文件。 2、利用 Java 开发 HDFS 文件系统应用程序，使用 HDFS Java API 接口读写 HDFS 文件系统中的文件。1、使用命令行操作 HD
转载
2023-07-14 10:42:15
537阅读
hdfs读写删文件流程
一、HDFS体系架构图
转载
2023-07-12 08:32:00
112阅读
大数据：Hadoop文件操作HDFS常用命令（一） 1、创建目录。在HDFS中创建一个文件目录：hadoop dfs -mkdir 2、查看文件结构目录：hdfs dfs -ls -R /例如，在HDFS中创建一个test_dir的文件目录，然后查看： 如果查看具体某一个文件目录下的文件层次，则为：hadoop fs -ls /mydirmydir是开发者在HDFS中
转载
2023-06-02 10:36:52
1069阅读
Hadoop学习——hdfs上传读取删除文件的过程namnode，名字节点，最主要管理HDFS的元数据信息。datanode，数据节点，存储文件块replication，文件块的副本，目的是确保数据存储的可靠性rack 机器Client 客户端。凡是通过指令或代码操作的一端都是客户端Client 的Read（从HDFS下载文件到本地）Client的Write（上传文件到HDFS上）从HDFS上读取
转载
2023-09-01 10:04:05
276阅读
hdfs的介绍hdfs的概述：HDFS
（
Hadoop Distributed File System
）是
Apache Hadoop
项目的一个子项目
. Hadoop
非常适于存储大型 数据
(
比如
TB
和
PB),
其就是使用
HDFS
作为存储系统
. HDFS
使用多台计算机存储文件
转载
2024-07-24 17:33:06
11阅读
