在hive中，较常见的文件存储格式有：TestFile、SequenceFile、RcFile、ORC、Parquet、AVRO。默认的文件存储格式是TestFile，在建表时若不指定默认为这个格式，那么导入数据时会直接把数据文件拷贝到hdfs上不进行处理。除TestFile外的其他格式的表不能直接从本地文件导入数据，数据要先导入到TestFile格式的表中，然后再从表中用insert
转载
2024-07-19 14:06:20
89阅读
hbase：是一个适合于非结构化数据存储的数据库，是基于列的而不是基于行的模式，HBase利用Hadoop MapReduce来处理HBase中的海量数据。HDFS: 是GFS的一种实现，他的完整名字是分布式文件系统，类似于FAT32，NTFS，是一种文件格式，是底层的。 Hive与Hbase的数据一般都存储在HDFS上。Hadoop HDFS为他们提供了高可靠性的底层存储支持。hive：是一个数
转载
2023-07-12 18:11:31
97阅读
hdfs client分析：hdfs dfs -ls这一篇重点分析了hdfs client的整体执行流程，但是没有详细介绍命令调用和返回的过程，这篇通过mkdir命令来做个补充。命令：hdfs dfs -mkdir代码分析直接从Command类的run方法开始：public int run(String...argv) {
LinkedList<String> args =
转载
2024-04-05 08:30:40
81阅读
# HDFS和Hive的介绍和使用
## 引言
在大数据领域，处理海量数据是一项重要的任务。在这个领域中，Hadoop生态系统提供了许多强大的工具和框架来管理和处理这些海量数据。其中，HDFS和Hive是最为常用和重要的工具之一。本文将介绍HDFS和Hive的概念、原理和使用方法，并通过代码示例进行演示。
## HDFS概述
HDFS（Hadoop Distributed File Syste
原创
2023-08-26 05:07:22
122阅读
1、Hive表关联查询，如何解决数据倾斜的问题？（☆☆☆☆☆）1）倾斜原因：map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。（1）key分布不均匀;（2）业务数据本身的特性;（3）建表时考虑不周;（4）某些SQL语句本身就有数据倾斜;如何避免：对于key为空产生的数据倾斜，可
转载
2024-08-14 21:49:48
53阅读
用法-mkdir 创建目录 Usage：hdfs dfs -mkdir [-p] < paths> 选项：-p 很像Unix mkdir -p，沿路径创建父目录。-ls 查看目录下内容，包括文件名，权限，所有者，大小和修改时间 Usage：hdfs dfs -ls [-R] < args> 选项：-R 递归地显示子目录下的内容-put 将本地文件或目录上传到HDFS中的路径
转载
2024-02-16 11:44:29
503阅读
# Hive删除HDFS文件目录教程
## 简介
在Hive中，我们有时需要删除HDFS文件目录。本教程将教导你如何使用Hive删除HDFS文件目录。在本教程中，我们假设你已经具备基本的Hive和HDFS操作知识，并且已经正确安装和配置了Hive。
## 整体流程
下面是删除HDFS文件目录的整体流程：
步骤 | 操作
---- | ----
1 | 启动Hive终端
2 | 设置Hiv
原创
2023-12-05 16:20:22
390阅读
【147】目录HDFS的优缺点HDFS的辅助功能1、心跳机制2、安全模式3、副本存放策略4、负载均衡 HDFS的优点和缺点HDFS的优点1、可构建在廉价机器上 通过多副本提高可靠性，提供了容错和恢复机制 服务器节点的宕机是常态 必须理性对象2、高容错性 数据自动保存多个副本，副本丢失后，自动恢复HDFS的核心设计思想： 分散均匀存储 + 备份冗余存储 3、适合批处理
转载
2024-06-04 20:19:09
37阅读
**实现“hdfs dfs -expunge 命令”流程**
为了帮助小白理解如何实现“hdfs dfs -expunge 命令”，我们首先需要了解整个流程。下面是实现该命令的步骤：
| 步骤 | 操作 |
|---|---|
| 1 | 连接到Hadoop集群 |
| 2 | 运行hdfs dfs -expunge命令 |
| 3 | 验证命令执行结果 |
**每一步具体操作及代码示例**
原创
2024-04-30 11:39:55
122阅读
testUsage: hadoop fs -test -[defswrz] URIOptions:-d: if the path is a directory, return 0.-e: if the path exists, return 0.-f: if the path is a file, return 0.-s: if the path is not empty, retu
原创
2022-10-28 11:58:39
112阅读
hdp集群数据迁移由于公司大数据平台建设升级调整，需要把开发集群（hdp 2.6）上的数据迁移到生产集群（hdp3.1），所以我们需要做历史数据迁移。准备工作就不说了，这里直接上迁移方案！目前方案有两种，第一种是采用distcp命令，直接将开发集群上的hdfs中的数据迁移到生产集群上，第二种采用scp命令，将开发集群上的数据hdfs dfs -get到本地，然后把数据从开发本地scp到生产集群本地
转载
2024-04-12 06:02:11
148阅读
1、查看Hadoop HDFS支持的所有命令hadoop fs2、列出目录及文件信息hadoop fs -ls3、循环列出目录、子目录及文件信息hadoop fs -lsr4、将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlightcs目录下hadoop fs -put test.txt /user/sunlightcs5、将HDFS中的test.txt复制到本地文件系
转载
2023-07-11 20:43:06
252阅读
问题：在执行删除hdfs上的内容时（hdfs dfs -rm -f -r -skipTrash /wxcm）报错：rm: Cannot delete /wxcm/ Name node is in safe mode.原因：这是因为在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统
转载
2024-03-20 08:31:00
93阅读
一、HDFS基本概述1、HDFS描述大数据领域一直面对的两大核心模块：数据存储，数据计算，HDFS作为最重要的大数据存储技术，具有高度的容错能力，稳定而且可靠。HDFS(Hadoop-Distributed-File-System)，它是一个分布式文件系统，用于存储文件，通过目录树来定位文件;设计初衷是管理数成百上千的服务器与磁盘，让应用程序像使用普通文件系统一样存储大规模的文件数据，适合一次写入
转载
2024-06-17 13:58:30
63阅读
hdfs dfs -test 常用
命令：
hdfs dfs -test
-test -[defsz] <path>: Answer various questions about <path>, with result via exit status.
-d return 0 if <path> is a dir
转载
2024-03-06 12:26:10
67阅读
设置属性：//设置本地执行作set hive.exec.mode.local.auto=true;//设置动态分区set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nostrict;//设置reduce task数量set mapred.reduce.tasks=2;//对mapjoin优
转载
2024-06-02 17:06:16
112阅读
上一篇文章写到flume实时抽取mysql数据到kafka和hdfs，但是之前没有考虑到在hdfs是在HA模式下的情况，如果在HA模式下，我们指定了写入地址为： hdfs://cdh2:8020/flume/oracle/topic/test_%Y%m%d，当cdh2是Active状态下是没有问题的，但是当cdh2变成Standby状态后，则数据无法正常写入；为了解决这种问题，我们在fl
转载
2024-09-11 10:56:07
75阅读
【fs最常用命令】 bin/hadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录
bin/hadoop fs -mkdir hdfs_path //在HDFS上创建文件夹
bin/hadoop fs -rm hdfs_path //删除HDFS上的文件
bin/hadoop fs -rmr h
转载
2023-07-10 23:29:58
128阅读
之前有文章介绍过HDFS租约带来的问题，导致spark应用无法正常读取文件，只能将异常文件找出并且删除后，任务才能继续执行。但是删除文件实在是下下策，而且文件本身其实并未损坏，只是因为已经close的客户端没有及时的释放租约导致。按照Hadoop官网的说法，HDFS会启动一个单独的线程，专门处理未及时释放的租约，自动释放超过“硬超时”（默认1小时）仍未释放的租约，但是从问题的现象上来看，这个线程并
转载
2024-06-11 08:17:15
87阅读
对文件进行限额主要在多人使用hdfs文件系统的时候，为了避免有的用户一个人就要占用整个文件系统所有的存储空间等情况，hdfs 的限额配置允许我们以文件个数或者文件大小进行对某个目录的限制。文件限额配置操作查看某个目录的配置信息：hdfs dfs -count -q -h URLoutput:2 0 none inf
转载
2024-04-28 14:28:46
480阅读
