查看数据库
show databases;
进入到某个数据库
use default;
展示有哪些表
show tables;
不进入Hive的命令行窗口就可以执行SQL语句
[root@master test]# hive -f hive-seclet.sql
hive (default)> quit;
hive (default)> exit;
exit:先提交数据，然后退
转载
2023-09-13 16:56:06
156阅读
hive执行计划语法EXPLAIN [EXTENDED] queryEXTENDED参数：输出执行计划中操作符的额外信息；通常，展示物理信息，如文件名等hive查询转换为一个 有向无环图 的阶段序列；这些阶段可能是 Map/Reduce阶段 或者是执行元数据与文件操作(例如：重命名，移动)； explain 输出包括三部分：查询语句的抽象语法树执行计划不同阶段间的依赖关系每个阶段的描述阶段描述信息
转载
2023-07-12 21:00:21
87阅读
说明 对hive基本命令进行实战，要求本机安装着mysql和启动hdfs。 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表， 并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 
转载
2023-08-30 11:19:22
169阅读
对于一个初学者来说，HDFS、Hive、Hbase常用命令比较多，一时间又难以记住，这里做一个小小的整理总结1. Hadoop命令文件浏览，不能递归显示hadoop fs –ls /[path]递归显示文件hadoop fs –lsr /[path]统计文件大小（-h 人性化显示，GB,MB,KB）hadoop fs –du -h /[path]只统计文件夹大小hadoop fs –d
转载
2023-08-04 10:14:48
129阅读
文章目录在Hive中执行shell命令和hdfs命令1. 执行shell命令2. 执行hdfs命令DDL操作1. Hive中的数据库操作2. 创建表2.1 建表示例2.2 内部表2.3 外部表2.4 分区表2.5 创建分桶表3. 修改表3.1 重命名表3.2 增加列3.3 改变列3.4 替换列3.5 增加分区3.6 删除分区4. 删除表DML操作1.加载数据1.1 put1.2 load2. 导
转载
2023-08-07 17:13:35
262阅读
Hive的安装部署以及使用方式安装部署Derby版hive直接使用cd /export/softwares将上传的hive软件包解压：tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/cd /export/servers/hive-1.1.0-cdh5.14.0/启动：bin/hive缺点：多个地方安装hive后，每一个hive是拥有一套自己的
转载
2024-06-05 15:36:02
29阅读
版本：Hadoop 2.7.4– 查看dfs帮助信息 [root@hadp-master sbin]# dfs
Usage: dfs [generic options]
[-appendToFile … ]
[-cat [-ignoreCrc] …]
[-checksum …]
[-chgrp [-R] GROUP PATH…]
[-chmod [-R] <MODE[,MODE]
转载
2023-10-22 17:21:05
11阅读
目前 Hadoop 系列文章的规划就是这样，持续补充完善中...同时可以访问 ：data.cuteximi.comHadoop 生态系列之1.0和2.0架构Hadoop 生态系列之 HDFSHadoop 生态系列之 MapreduceHadoop 生态系列之 YarnHadoop 生态系列之 ZookeeperHadoop 生态系列之 HiveHadoop 生态系列之 HBase上一篇文章 Had
转载
2024-07-30 15:53:58
21阅读
上篇文章说了 Hbase 的基础架构，都是比较理论的知识，最近我也一直在搞 Hbase 的数据迁移， 今天就来一篇实战型的，把最近一段时间的 Hbase 整合 Hadoop 的基础知识在梳理一遍，毕竟当初搞得时候还是有点摸不着方向，写下来也方便以后查阅。之前使用 Hbase 大多是把它当做实时数据库来做查询使用的，大部分使用的都是 Hbase 的基础 Api， Hbase 与 Had
转载
2023-12-26 06:39:44
37阅读
你在hive上面要想查看 hdfs 的东西, 原本你需要再打开一个crt终端,现在不用了.hive面板查看hdfs上面的东西直接 dfs 后面跟上命令就可以了,
原创
2022-07-04 11:39:28
122阅读
我们使用shell只进行一些简单的操作，还是用Java接口比较多。因此我们要使用Java接口的方式来操作HDFS我们new一个project 叫hadoop0106，然后再创建一个文件夹（new一个folder）叫lib，把jar包导入进去在hadoop2.2.0/share/hadoop/common 里面的三个jar包 Ctrl+c在hadoop2.2.0/share/hadoop/commo
转载
2023-12-08 23:40:00
7阅读
目录高频率常用一.查看hadf的帮助信息二.hdfs与dfs结合使用的案例1>.查看hdfs子命令的帮助信息2>.查看hdfs文件系统中已经存在的文件3>.在hdfs文件系统中创建文件4>.上传文件至根目录(在上传的过程中会产生一个以"*.Copying"字样的临时文件)5>.在hdfs文件系统中下载文件6>.在hdfs文件系统中删除文件7>.在hdfs文
转载
2023-07-14 16:00:49
998阅读
1、查看Hadoop HDFS支持的所有命令hadoop fs2、列出目录及文件信息hadoop fs -ls3、循环列出目录、子目录及文件信息hadoop fs -lsr4、将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlightcs目录下hadoop fs -put test.txt /user/sunlightcs5、将HDFS中的test.txt复制到本地文件系
转载
2023-07-11 20:43:06
252阅读
最近在做一个小任务，将一个CDH平台中Hive的部分数据同步到另一个平台中。毕竟我也刚开始工作，在正式开始做之前，首先进行了一段时间的练习，下面的内容就是练习时写的文档中的内容。如果哪里有错误或者疏漏，希望各位网友能够指出。第一篇：HDFS的上传与下载（put & get）：第三篇：Hive分区表的导入与导出：第四篇：跨平台传输方案： Hive数据的上传/导入1. 前言 上一篇中
转载
2024-02-03 08:47:12
194阅读
Hive中数据库的操作·查看数据库列表hive(default)> show databases;·选择数据库hive(default)> use default;default是默认数据库，默认就在这个库里面 hive的数据都是存储在hdfs上，那这里的default数据库在HDFS上是如何体现的？在hive-site.xml中有一个参数hive.metastore.warehous
转载
2023-07-20 21:27:38
314阅读
Hive入门(一)：Hive Shell的基本操作总结Hive基本的命令行操作进入Hive部署包的bin目录，在命令行输入./hive启动hive cli。$ cd /user/home/apache-hive-2.2.0-bin/bin
$ ./hive变量和属性命名空间使用权限描述hivevar读/写用户自定义变量env只读shell环境定义的环境变量,比如~/.bashrc中定义的左右环境变
转载
2023-07-06 22:00:55
189阅读
### HDFS批量执行Hive建表
在大数据领域，Hadoop分布式文件系统（HDFS）和Hive是两个常用的工具，其中HDFS用于存储大规模数据，而Hive是一种数据仓库工具，可以对HDFS中的数据进行查询和分析。有时候，我们需要批量创建Hive表来对存储在HDFS中的数据进行处理，这就需要使用Hive的批量执行功能来实现。
#### 批量执行Hive建表的步骤
1. 准备Hive建表脚
原创
2024-03-01 07:41:42
72阅读
## Hive执行HDFS上的脚本
### 1. 整体流程
为了执行HDFS上的脚本，我们需要按照以下步骤进行操作：
| 步骤 | 动作 |
| ---- | ---- |
| 步骤1 | 连接到Hive服务器 |
| 步骤2 | 使用"!dfs"命令查看HDFS上的文件列表 |
| 步骤3 | 使用"!run"命令执行HDFS上的脚本文件 |
### 2. 每一步的操作和代码
####
原创
2023-10-04 14:28:13
155阅读
1. Hive表数据的导入方式1.1 本地上传至hdfs命令：hdfs dfs -put [文件名] [hdfs绝对路径]例如：测试文件 test_001.txt 内容如下在 hdfs 绝对路径：/user/hive/warehouse/mytest.db/ 下有一张表 test_001，建表语句如下：create table test_001(id string, name string) ro
转载
2023-07-14 11:59:06
493阅读
文章目录HDFS常见功能集群间数据拷贝文件归档快照管理回收站 HDFS常见功能集群间数据拷贝scp实现两个远程主机之间的文件复制scp -r hello.txt root@bigdata111:/user/itstar/hello.txt // 推 push
scp -r root@bigdata112:/user/itstar/hello.txt hello.txt // 拉 pull
转载
2024-03-23 15:21:29
206阅读
