目录高频率常用一.查看hadf的帮助信息二.hdfs与dfs结合使用的案例1>.查看hdfs子命令的帮助信息2>.查看hdfs文件系统中已经存在的文件3>.在hdfs文件系统中创建文件4>.上传文件至根目录(在上传的过程中会产生一个以"*.Copying"字样的临时文件)5>.在hdfs文件系统中下载文件6>.在hdfs文件系统中删除文件7>.在hdfs文
转载
2023-07-14 16:00:49
1009阅读
本篇来介绍一下通过Spark来读取和HDFS上的数据，主要包含四方面的内容：将RDD写入HDFS、读取HDFS上的文件、将HDFS上的文件添加到Driver、判断HDFS上文件路径是否存在。1、启动Hadoop首先启动咱们的Hadoop，在hadoop的目录下执行下面的命令：rm -rf tmp
mkdir tmp
cd sbin
hadoop namenode -format
start-df
转载
2023-07-20 18:13:46
348阅读
# 如何使用HDFS查看Hive库
Hive是一个数据仓库工具，它允许用户以SQL的方式查询存储在Hadoop集群中的大型数据集。HDFS（Hadoop Distributed File System）是Hadoop的分布式文件系统，用于存储大规模数据。在Hadoop生态系统中，Hive库通常存储在HDFS上。本文将介绍如何使用HDFS查看Hive库中的数据。
## 方案概述
要查看Hive
原创
2024-03-26 05:52:27
53阅读
# Hive查HDFS文件数据实现方法
## 1. 流程概述
为了帮助你实现"Hive查HDFS文件数据"的功能，下面我将为你介绍具体的步骤。整个流程可以分为以下几个步骤：
1. 创建Hive表：首先需要在Hive中创建一个表，用于存储HDFS中的数据。
2. 导入HDFS数据：将HDFS中的数据导入到Hive表中。
3. 查询Hive数据：使用Hive查询语句查找所需的数据。
下面将逐个
原创
2023-10-22 10:13:56
90阅读
文章目录在Hive中执行shell命令和hdfs命令1. 执行shell命令2. 执行hdfs命令DDL操作1. Hive中的数据库操作2. 创建表2.1 建表示例2.2 内部表2.3 外部表2.4 分区表2.5 创建分桶表3. 修改表3.1 重命名表3.2 增加列3.3 改变列3.4 替换列3.5 增加分区3.6 删除分区4. 删除表DML操作1.加载数据1.1 put1.2 load2. 导
转载
2023-08-07 17:13:35
262阅读
对于一个初学者来说，HDFS、Hive、Hbase常用命令比较多，一时间又难以记住，这里做一个小小的整理总结1. Hadoop命令文件浏览，不能递归显示hadoop fs –ls /[path]递归显示文件hadoop fs –lsr /[path]统计文件大小（-h 人性化显示，GB,MB,KB）hadoop fs –du -h /[path]只统计文件夹大小hadoop fs –d
转载
2023-08-04 10:14:48
129阅读
说明 对hive基本命令进行实战，要求本机安装着mysql和启动hdfs。 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表， 并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 
转载
2023-08-30 11:19:22
169阅读
### 如何使用“hive 查配置”命令
作为一名经验丰富的开发者，你将会指导一位刚入行的小白如何实现“hive 查配置”命令。这个命令可以让用户查看Hive的配置信息，帮助他们更好地了解Hive的运行环境和参数设定。
#### 流程概述
首先，让我们来看一下整个操作的流程，可以用表格展示如下：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 进入Hive交互模式 |
原创
2024-06-01 05:05:10
29阅读
文章目录1. HDFS文件系统基本信息2. HDFS基础命令2.1 HDFS上创建文件夹2.2 查看HDFS指定目录下的内容2.3 本地上传文件到HDFS指定目录下2.4 查看HDFS文件内容2.5 下载HDFS文件2.6 复制HDFS文件2.7 追加数据到HDFS文件中2.8 HDFS数据移动2.9 HDFS删除数据3. HDFS更多命令 1. HDFS文件系统基本信息HDFS和Linux系统
转载
2024-03-01 11:25:01
80阅读
1、查看Hadoop HDFS支持的所有命令hadoop fs2、列出目录及文件信息hadoop fs -ls3、循环列出目录、子目录及文件信息hadoop fs -lsr4、将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlightcs目录下hadoop fs -put test.txt /user/sunlightcs5、将HDFS中的test.txt复制到本地文件系
转载
2023-07-11 20:43:06
252阅读
Hive中数据库的操作·查看数据库列表hive(default)> show databases;·选择数据库hive(default)> use default;default是默认数据库，默认就在这个库里面 hive的数据都是存储在hdfs上，那这里的default数据库在HDFS上是如何体现的？在hive-site.xml中有一个参数hive.metastore.warehous
转载
2023-07-20 21:27:38
314阅读
最近在做一个小任务，将一个CDH平台中Hive的部分数据同步到另一个平台中。毕竟我也刚开始工作，在正式开始做之前，首先进行了一段时间的练习，下面的内容就是练习时写的文档中的内容。如果哪里有错误或者疏漏，希望各位网友能够指出。第一篇：HDFS的上传与下载（put & get）：第三篇：Hive分区表的导入与导出：第四篇：跨平台传输方案： Hive数据的上传/导入1. 前言 上一篇中
转载
2024-02-03 08:47:12
194阅读
Hive的安装部署以及使用方式安装部署Derby版hive直接使用cd /export/softwares将上传的hive软件包解压：tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/cd /export/servers/hive-1.1.0-cdh5.14.0/启动：bin/hive缺点：多个地方安装hive后，每一个hive是拥有一套自己的
转载
2024-06-05 15:36:02
29阅读
1. Hive表数据的导入方式1.1 本地上传至hdfs命令：hdfs dfs -put [文件名] [hdfs绝对路径]例如：测试文件 test_001.txt 内容如下在 hdfs 绝对路径：/user/hive/warehouse/mytest.db/ 下有一张表 test_001，建表语句如下：create table test_001(id string, name string) ro
转载
2023-07-14 11:59:06
493阅读
1.开机启动Hadoop，输入命令： 检查相关进程的启动情况： 2.对Hadoop集群做一个测试： 可以看到新建的test1.txt和test2.txt已经成功地拷贝到节点上(伪分布式只有一个节点，如果是完全分布式，则会显示3个节点都拷贝成功)。这证明HDFS工作正常，其中，hadoop dfs –put [本地地址
查看数据库
show databases;
进入到某个数据库
use default;
展示有哪些表
show tables;
不进入Hive的命令行窗口就可以执行SQL语句
[root@master test]# hive -f hive-seclet.sql
hive (default)> quit;
hive (default)> exit;
exit:先提交数据，然后退
转载
2023-09-13 16:56:06
156阅读
上篇文章说了 Hbase 的基础架构，都是比较理论的知识，最近我也一直在搞 Hbase 的数据迁移， 今天就来一篇实战型的，把最近一段时间的 Hbase 整合 Hadoop 的基础知识在梳理一遍，毕竟当初搞得时候还是有点摸不着方向，写下来也方便以后查阅。之前使用 Hbase 大多是把它当做实时数据库来做查询使用的，大部分使用的都是 Hbase 的基础 Api， Hbase 与 Had
转载
2023-12-26 06:39:44
37阅读
hive执行计划语法EXPLAIN [EXTENDED] queryEXTENDED参数：输出执行计划中操作符的额外信息；通常，展示物理信息，如文件名等hive查询转换为一个 有向无环图 的阶段序列；这些阶段可能是 Map/Reduce阶段 或者是执行元数据与文件操作(例如：重命名，移动)； explain 输出包括三部分：查询语句的抽象语法树执行计划不同阶段间的依赖关系每个阶段的描述阶段描述信息
转载
2023-07-12 21:00:21
87阅读
目前 Hadoop 系列文章的规划就是这样，持续补充完善中...同时可以访问 ：data.cuteximi.comHadoop 生态系列之1.0和2.0架构Hadoop 生态系列之 HDFSHadoop 生态系列之 MapreduceHadoop 生态系列之 YarnHadoop 生态系列之 ZookeeperHadoop 生态系列之 HiveHadoop 生态系列之 HBase上一篇文章 Had
转载
2024-07-30 15:53:58
21阅读
正文分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的拓展能力HDFS设计目标硬件故障是常态，HDFS将由成百上千台服务器组成，每一个组成部分都有可能出现故障，因此故障的检测和自动快速恢复是HDFS的核心架构目标HDFS上的应用与一般的应用不同，它们主要是以流式读取数据。HDFS被设计成适
转载
2024-07-30 15:32:54
113阅读
