Hive中数据库的操作·查看数据库列表hive(default)> show databases;·选择数据库hive(default)> use default;default是默认数据库，默认就在这个库里面 hive的数据都是存储在hdfs上，那这里的default数据库在HDFS上是如何体现的？在hive-site.xml中有一个参数hive.metastore.warehous
转载
2023-07-20 21:27:38
314阅读
LeaseManager$Monitor、PendingReplicationMonitor等，今天终于可以讲一讲ReplicationMonitor ，它在FSNamesystem中可算是大家伙了。那么，NameNode$FSNamesystem到底用ReplicationMonitor 来干啥子用的呢？其实，从它的名字我们就应该可以窥测出的大概。是的，ReplicationMonitor主要用
申明：本文基于hadoop2.7 进行源码研读一、NameNode类代码注释我简单对类注释做了一些翻译：/**********************************************************
* NameNode serves as both directory namespace manager and
* "inode table" for the Hado
转载
2024-07-03 20:09:10
147阅读
说明 对hive基本命令进行实战，要求本机安装着mysql和启动hdfs。 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表， 并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 
转载
2023-08-30 11:19:22
169阅读
对于一个初学者来说，HDFS、Hive、Hbase常用命令比较多，一时间又难以记住，这里做一个小小的整理总结1. Hadoop命令文件浏览，不能递归显示hadoop fs –ls /[path]递归显示文件hadoop fs –lsr /[path]统计文件大小（-h 人性化显示，GB,MB,KB）hadoop fs –du -h /[path]只统计文件夹大小hadoop fs –d
转载
2023-08-04 10:14:48
129阅读
文章目录在Hive中执行shell命令和hdfs命令1. 执行shell命令2. 执行hdfs命令DDL操作1. Hive中的数据库操作2. 创建表2.1 建表示例2.2 内部表2.3 外部表2.4 分区表2.5 创建分桶表3. 修改表3.1 重命名表3.2 增加列3.3 改变列3.4 替换列3.5 增加分区3.6 删除分区4. 删除表DML操作1.加载数据1.1 put1.2 load2. 导
转载
2023-08-07 17:13:35
262阅读
NameNode启动过程详细剖析1. FSImage Namenode会将HDFS的文件和目录元数据存储在一个叫fsimage的二进制文件中，每次保存fsimage之后到下次保存之间的所有hdfs操作，将会记录在editlog文件中，当editlog达到一定的大小（bytes，由fs.checkpoint.size参数定义）或从上次保存过后一定时间段过后（sec，由fs.checkpoint.pe
转载
2024-05-09 16:20:32
49阅读
1、查看Hadoop HDFS支持的所有命令hadoop fs2、列出目录及文件信息hadoop fs -ls3、循环列出目录、子目录及文件信息hadoop fs -lsr4、将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlightcs目录下hadoop fs -put test.txt /user/sunlightcs5、将HDFS中的test.txt复制到本地文件系
转载
2023-07-11 20:43:06
252阅读
目录高频率常用一.查看hadf的帮助信息二.hdfs与dfs结合使用的案例1>.查看hdfs子命令的帮助信息2>.查看hdfs文件系统中已经存在的文件3>.在hdfs文件系统中创建文件4>.上传文件至根目录(在上传的过程中会产生一个以"*.Copying"字样的临时文件)5>.在hdfs文件系统中下载文件6>.在hdfs文件系统中删除文件7>.在hdfs文
转载
2023-07-14 16:00:49
1009阅读
CDA数据分析师 出品HDFS 是一个分布式文件系统， 就像任何其它文件系统， 它允许用户使用 shell 命令操作文件系统。接下来我们结合之前搭建好的分布式集群通过HDFS的shell命令行交互来进一步认识HDFS，并演示怎样使用 HDFS shell 命令。值得注意的是， HDFS 命令大多与 Unix 命令有一对一的关系。首先打开我们的master、slave1、slave2三台虚拟机，然后
转载
2023-11-06 13:02:11
195阅读
最近在做一个小任务，将一个CDH平台中Hive的部分数据同步到另一个平台中。毕竟我也刚开始工作，在正式开始做之前，首先进行了一段时间的练习，下面的内容就是练习时写的文档中的内容。如果哪里有错误或者疏漏，希望各位网友能够指出。第一篇：HDFS的上传与下载（put & get）：第三篇：Hive分区表的导入与导出：第四篇：跨平台传输方案： Hive数据的上传/导入1. 前言 上一篇中
转载
2024-02-03 08:47:12
194阅读
NameNode启动过程: (1)加载镜像文件：主要用于加载还原checkpoint时间节点前的元数据fsimage文件中的（包含目录结构，文件大小，块的大小，块的id等等信息），不包含块的存储位置(2)加载editlogs文件：主要用于加载还原客户端对名字空间的操作编辑记录，editlog是一个日志文件，其会记录hdfs客户端执行的所有写操作记录。（至此namenode还原的元数据唯一缺失的就是
转载
2024-03-25 08:52:54
58阅读
详细 Hadoop HDFS命令 图文并茂 介绍在“终端”程序中使用的HDFS命令，对HDFS进行操作，以及Hadoop HDFS Web 接口。HDFS命令格式如下：Hadoop fs -命令命令在master虚拟机的“终端”程序中运行命令说明hadoop fs -mkdir创建 HDFS 目录hadoop fs -ls列出 HDFS 目录hadoop fs -copyFromLocal使用 -
转载
2023-10-27 12:26:52
987阅读
Hive的安装部署以及使用方式安装部署Derby版hive直接使用cd /export/softwares将上传的hive软件包解压：tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/cd /export/servers/hive-1.1.0-cdh5.14.0/启动：bin/hive缺点：多个地方安装hive后，每一个hive是拥有一套自己的
转载
2024-06-05 15:36:02
29阅读
### Hive启动命令详解
#### 前言
Hive是一个基于Hadoop的数据仓库基础设施，用于提供数据的查询和分析。它通过将查询语言转换为MapReduce任务来实现高性能的数据处理。Hive启动命令用于启动Hive服务和Hive CLI（命令行界面）。本文将详细介绍Hive启动命令的使用方法和相关参数。
#### Hive启动命令
Hive启动命令的格式如下：
```shell
h
原创
2023-10-09 07:21:01
887阅读
HDFS和Hive是大数据领域中常用的两个组件，它们在实际应用中通常需要按照特定的启动顺序来进行配置和启动。对于刚入行的小白来说，可能不清楚这个启动顺序是什么，接下来我将详细介绍HDFS和Hive的启动顺序以及每一步需要做什么。
首先，我们来看一下HDFS和Hive的启动顺序的整体流程，如下表所示：
| 步骤 | 启动顺序 | 描述 |
| ---- | ---- | ---- |
| 1 |
原创
2024-01-18 06:39:51
177阅读
如果Hive没有安装，可以看前一篇文章 1.启动Hive 前台启动hive： [root@hadoop-slave02 bin]# hiveserver2 后台启动hive：[root@hadoop-slave02 bin]# nohup ./hiveserver2 &
[root@hadoop-slave02 bin]# beeline
beeline> !connect
转载
2023-08-18 22:35:59
251阅读
1. Hive表数据的导入方式1.1 本地上传至hdfs命令：hdfs dfs -put [文件名] [hdfs绝对路径]例如：测试文件 test_001.txt 内容如下在 hdfs 绝对路径：/user/hive/warehouse/mytest.db/ 下有一张表 test_001，建表语句如下：create table test_001(id string, name string) ro
转载
2023-07-14 11:59:06
493阅读
一、Hive基本概念1 什么是 Hive1）hive 简介Hive：由 Facebook 开源用于解决海量结构化日志的数据统计工具。Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。2）Hive 本质:将 HQL 转化成 MapReduce 程序Hive 处理的数据存储在 HDFHive 分析数据底层的实现是 MapReduce执行
转载
2024-06-27 17:14:14
36阅读
# 启动HDFS的YARN命令
在大数据领域，Hadoop是一个非常流行的开源框架，主要用于存储和处理大规模数据集。Hadoop的核心组件包括分布式文件系统HDFS和资源管理器YARN。本文将重点介绍如何通过命令行启动HDFS的YARN服务。
## 1. 准备环境
在开始之前，确保已经正确安装和配置了Hadoop，并且HDFS已经启动。如果还没有完成这些准备工作，可以参考官方文档进行安装和配
原创
2023-08-31 10:28:08
270阅读
