## Hive执行HDFS上的脚本
### 1. 整体流程
为了执行HDFS上的脚本，我们需要按照以下步骤进行操作：
| 步骤 | 动作 |
| ---- | ---- |
| 步骤1 | 连接到Hive服务器 |
| 步骤2 | 使用"!dfs"命令查看HDFS上的文件列表 |
| 步骤3 | 使用"!run"命令执行HDFS上的脚本文件 |
### 2. 每一步的操作和代码
####
原创
2023-10-04 14:28:13
155阅读
文章目录在Hive中执行shell命令和hdfs命令1. 执行shell命令2. 执行hdfs命令DDL操作1. Hive中的数据库操作2. 创建表2.1 建表示例2.2 内部表2.3 外部表2.4 分区表2.5 创建分桶表3. 修改表3.1 重命名表3.2 增加列3.3 改变列3.4 替换列3.5 增加分区3.6 删除分区4. 删除表DML操作1.加载数据1.1 put1.2 load2. 导
转载
2023-08-07 17:13:35
262阅读
HDFS的shell命令操作（Shell指令）1）基本语法2）参数大全3）常用命令实操（1）-help：输出这个命令参数（2）-ls: 显示目录信息（3）-mkdir：在hdfs上创建目录（4）-moveFromLocal从本地剪切粘贴到hdfs（5）-moveToLocal：从hdfs剪切粘贴到本地（6）--appendToFile ：追加一个文件到已经存在的文件末尾（7）-cat ：显示文件
转载
2023-12-06 17:27:30
189阅读
一、背景有同事反馈 Datax 从 Hive 表同步数据到 Mysql 数据翻倍了。通过查看 Datax 任务日志发现，翻倍的原因是多读取了 .hive-staging_xx 开头的文件。接下里就是有关 .hive-staging 的分析。二、环境Hive 版本 2.1.1三、分析3.1 .hive-staging_hive 产生的原因通过 Spark SQL、Hive SQL、Hue 等提交 S
HDFS基本介绍初次接触HADOOP HDFS，从它得定位与优缺点角度开始，是一个好方法。本文为个人翻译的官方文档，水平极其有限。总体介绍HDFS是Hadoop的分布式文件系统，该组件被设计为高度容错且部署在低成本硬件上，提供给了应用程序数据一个高吞吐量的连接。HDFS放宽一些POSIX的要求，以使流访问到文件系统的数据。HDFS最初建基础设施的阿帕奇Nutch的网络搜索引擎项目。目标与期望1.硬
转载
2023-10-24 06:44:50
48阅读
# 在 HDFS 上执行 Python 脚本的指南
随着大数据技术的发展，Hadoop 分布式文件系统 (HDFS) 越来越受到开发者的欢迎。通过 HDFS，我们能够存储和处理大规模数据集。今天，我们将介绍如何在 HDFS 上执行 Python 脚本。以下是整个流程的概述：
## 流程步骤表
| 步骤 | 描述 |
|------|-----
查看数据库
show databases;
进入到某个数据库
use default;
展示有哪些表
show tables;
不进入Hive的命令行窗口就可以执行SQL语句
[root@master test]# hive -f hive-seclet.sql
hive (default)> quit;
hive (default)> exit;
exit:先提交数据，然后退
转载
2023-09-13 16:56:06
156阅读
hive执行计划语法EXPLAIN [EXTENDED] queryEXTENDED参数：输出执行计划中操作符的额外信息；通常，展示物理信息，如文件名等hive查询转换为一个 有向无环图 的阶段序列；这些阶段可能是 Map/Reduce阶段 或者是执行元数据与文件操作(例如：重命名，移动)； explain 输出包括三部分：查询语句的抽象语法树执行计划不同阶段间的依赖关系每个阶段的描述阶段描述信息
转载
2023-07-12 21:00:21
87阅读
对于一个初学者来说，HDFS、Hive、Hbase常用命令比较多，一时间又难以记住，这里做一个小小的整理总结1. Hadoop命令文件浏览，不能递归显示hadoop fs –ls /[path]递归显示文件hadoop fs –lsr /[path]统计文件大小（-h 人性化显示，GB,MB,KB）hadoop fs –du -h /[path]只统计文件夹大小hadoop fs –d
转载
2023-08-04 10:14:48
129阅读
说明 对hive基本命令进行实战，要求本机安装着mysql和启动hdfs。 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表， 并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 
转载
2023-08-30 11:19:22
169阅读
因为我安装的是centos7 服务器版本而非桌面版本，因此没办法在namenode所在虚拟机上安装Eclipse等开发工具。本来想到可以在本地Eclipse中添加hadoop插件，然后就可以直接在本地开发和测试，但无奈鼓捣了一天最后以失败告终。因此改变思路，想到用在本地开发后生成jar包，然后发送到namenode节点去运行的方式。这种方式与上一种的区别就是没法在本地运行（因为没有配置hadoop
版本：Hadoop 2.7.4– 查看dfs帮助信息 [root@hadp-master sbin]# dfs
Usage: dfs [generic options]
[-appendToFile … ]
[-cat [-ignoreCrc] …]
[-checksum …]
[-chgrp [-R] GROUP PATH…]
[-chmod [-R] <MODE[,MODE]
转载
2023-10-22 17:21:05
11阅读
# Hive如何删除HDFS上的目录
Hive是一种在Hadoop上运行的数据仓库基础设施，它使用Hadoop Distributed File System（HDFS）来存储数据。在Hive中，可以通过执行Hive的删除命令来删除HDFS上的目录。本文将介绍如何使用Hive删除HDFS上的目录，并提供相应的代码示例。
## Hive删除HDFS上的目录的逻辑
Hive删除HDFS上的目录的
原创
2024-01-27 05:21:55
68阅读
Hive的安装部署以及使用方式安装部署Derby版hive直接使用cd /export/softwares将上传的hive软件包解压：tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/cd /export/servers/hive-1.1.0-cdh5.14.0/启动：bin/hive缺点：多个地方安装hive后，每一个hive是拥有一套自己的
转载
2024-06-05 15:36:02
29阅读
在大数据领域，Hive SQL 是一种常用的查询语言，可以方便地对存储在Hadoop 分布式文件系统（HDFS）中的数据进行查询和分析。然而，有时我们需要删除在 HDFS 上存储的数据，以释放存储空间或者清理无用数据。本文将介绍如何使用 Hive SQL 删除 HDFS 上的数据，并提供相应的代码示例供参考。
### 1. Hive SQL 删除 HDFS 上的数据
在 Hive SQL 中，
原创
2024-02-24 07:56:28
250阅读
目录零、学习目标一、导入新课 二、新课讲解 （一）HDFS的Shell介绍 （二）了解HDFS常用Shell命令1、三种Shell命令方式2、FileSystem Shell文档3、常用HDFS的shell命令 （三）HDFS常用命令操作实战1、创建目录2、查看目录3、上传本地文件到HDFS4、查看文件内容5、下载HDFS文件到本地6、删除HDFS文件7、删
转载
2024-01-08 21:00:42
140阅读
# Java执行HDFS上的JAR文件
在Hadoop生态系统中，HDFS是一种分布式文件系统，而Java是一种广泛使用的编程语言。在本文中，我们将探讨如何使用Java程序来执行存储在HDFS上的JAR文件。我们将使用Hadoop的HDFS API来实现这一目标。
## HDFS概述
Apache Hadoop Distributed File System（HDFS）是一个可扩展的、可靠的
原创
2024-01-27 11:46:27
103阅读
写一下Hive源码中执行SQL的SELECT语句的简单执行流程，手头没有具体的环境进调试模式，只根据源码写写大概的处理流程。总体上从beeline脚本执行，调用了类Beeline.java，将终端的命令读入后通过rpc发送给driver处理。driver调用SemanticAnalyzer将SQL语句编译为可以执行的tasks，然后给每个task创建一个线程执行，在task中调用Tez等并行框架处
转载
2023-05-30 16:34:21
1436阅读
目录1 引言1.1 目的1.2 读者范围2 综述3 代码详细分析3.1 启动Hadoop集群3.2 JobTracker启动以及Job的初始化3.3 TaskTracker启动以及发送Heartbeat3.4 JobTracker接收Heartbeat并向TaskTracker分配任务3.5 TaskTracker接收HeartbeatResponse3.6 MapReduce任务的运行3.6.1
介绍
Apache Hive是一个构建于Hadoop的数据仓库，注意不是数据库。Hive可以看成是用户编程接口或者数据库的逻辑层，它本身并不存储和计算数据，它依赖于基于数据库（基于HDFS）和Mapreduce，也就是说Hive本身并不存储数据。其对数据操作的语言类似于SQL，名为HQL。
Hive可以基于mysql和hbase，其自带了一个数据库Derby（坑爹的数据库）。
转载
2024-03-13 23:43:27
97阅读
