说明 对hive基本命令进行实战，要求本机安装着mysql和启动hdfs。 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表， 并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 
转载
2023-08-30 11:19:22
169阅读
在上篇文章中我们介绍了使用hdfs命令行操作来实现hdfs上的文件创建、本地文件上传hdfs、更改hdfs文件属性。今天我们继续介绍HDFS命令行的其他操作。1. 从键盘读取输入到 hdfs命令格式如下： hdfs dfs –put - <hdfs file> 从键盘读取输入到 hdfs file 中，按 Ctrl+D 结束输入,hdfs file不能存在，否则命令不会执行
转载
2023-09-01 10:03:47
132阅读
## 用Hive在HDFS上建立JSON文件的表
在大数据处理中，Hive是一个常用的工具，它能够让用户使用类似SQL的语言来查询和分析存储在Hadoop的HDFS上的数据。在本文中，我们将介绍如何在HDFS上的JSON文件上建立一个Hive表，并使用Hive查询这些数据。
### 准备工作
在开始之前，确保你已经安装了Hadoop和Hive，并且你已经有一些JSON格式的数据文件放在HDF
原创
2024-06-27 04:02:38
128阅读
本文讲解的使用启动我们可以使用下面命令启动Hive，使之拥有读取Hbase的功能，如果你的Hbase只有一台机器(single-node HBase server)，可以使用下面命令启动hive client： $HIVE_HOME/bin/hive --auxpath $HIVE_HOME/lib/hive-hbase-handler-1.2.0.jar,$HIVE_HOME/lib/hbase
转载
2023-07-20 18:38:28
129阅读
一、说明： 将关系型数据库中的数据导入到 HDFS（包括 Hive， HBase） 中，如果导入的是 Hive，那么当 Hive 中没有对应表时，则自动创建。二、操作1、创建一张跟mysql中的im表一样的hive表im:sqoop create-hive-table \
--connect jdbc:mysql://192.168.200.100:3306/yang \
--username
转载
2024-07-05 21:23:19
51阅读
1.1 什么是 Hive Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并 提供类 SQL 查询功能。 本质是：将 HQL 转化成 MapReduce 程序 1） Hive 处理的数据存储
hadoop-hive安装配置下载hive-0.8.1.tar.gz ---------在ahdoop1.0.0这个版本上要使用这个版本以上 把这个文件解压在/hadoop/app目录下1.添加bin/hive-config.sh，添加jdk支持 exportJAVA_HOME=/usr/java/jdk1.7.0_02exportHIV
转载
2024-02-02 12:36:02
68阅读
# 查看Hive表在HDFS的文件个数
在使用Hive进行数据处理时，有时候我们需要查看Hive表在HDFS中到底有多少个文件。这个信息对于我们了解数据分布、优化查询等操作都是非常有帮助的。本文将介绍如何通过Hive命令和Hadoop命令来查看Hive表在HDFS中的文件个数。
## Hive表文件个数的含义
在Hive中，一个表可能被存储在HDFS的多个文件中。这些文件通常是以分块的方式存
原创
2024-06-01 06:35:29
137阅读
2019.04.25更新，新增数据类型转换部分一.装载数据--可自动创建分区
load data [local] inpath 'file_path' [overwrite] into table table_name [partition(partcol1=val1,parcol2=val2...)]使用local关键字,那么'file_path'应该为本地文件系统(hive客户端所在系统，如L
转载
2023-07-12 21:27:28
357阅读
# 如何修改Hive表在HDFS上的路径
## 1. 操作流程
下面是修改Hive表在HDFS上的路径的具体步骤：
| 步骤 | 操作 |
| ---- | --- |
| 1 | 进入Hive交互式命令行界面 |
| 2 | 使用`ALTER TABLE`语句修改表的存储路径 |
| 3 | 重命名HDFS上的表目录 |
## 2. 详细步骤
### 步骤1：进入Hive交互式命令行界
原创
2024-04-12 05:43:11
362阅读
表的高级操作：倾斜表&事务表Hive倾斜表（Skewed Tables）什么是倾斜表？对于一列或多列中出现倾斜值的表，可以创建倾斜表（Skewed Tables）来提升性能。比如，表中的key字段所包含的数据中，有50%为字符串”1“，那么这种就属于明显的倾斜现象；于是在对key字段进行处理时，倾斜数据会消耗较多的时间。此时可以创建Skewed Tables，对倾斜数据在元数据中进行标注，
转载
2023-07-14 23:59:59
311阅读
Hive的几种常见的数据导入方式
这里介绍四种：
（1）、从本地文件系统中导入数据到Hive表；
（2）、从HDFS上导入数据到Hive表；
（3）、从别的表中查询出相应的数据并导入到Hive表中；
（4）、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。
一、从本地文件系统中导入数据到Hive表 先在Hive里面创建好表，
转载
2023-10-22 17:15:00
60阅读
HDFS 概述：向磁盘中写入数据的时间一般是读取时间的3倍。HDFS以流处理访问模式来存储文件的，一次写入，多次读取。磁盘存储文件时，是按照数据块来进行存储的，数据块是磁盘读写的最小单位。构建与的那个磁盘上的文件系统是通过磁盘块来管理文件系统，文件系统块的大小一般是磁盘块的整数倍。磁盘块的大小一般是512字节。 对于用户来说，HDFS可以被看为一个巨大的硬盘。 体系结构及原理 HDFS采用
转载
2023-07-12 10:09:02
74阅读
# 将HDFS表放入Hive的完整指南
作为一名新手开发者，了解如何将HDFS（Hadoop分布式文件系统）中的数据表放入Hive是非常重要的。Hive是一个数据仓库工具，它允许用户通过SQL语言查询和分析数据。下面我们将通过一个简单的流程来教你如何实现这个目标。
## 流程步骤
下面的表格展示了将HDFS表放入Hive的基本步骤：
| 步骤 | 描述
原创
2024-09-11 04:48:02
41阅读
# 使用HDFS查看Hive表
在大数据领域，Hive是一个基于Hadoop的数据仓库工具，可以将结构化数据文件映射为一张数据库表，并提供类SQL语言进行查询和分析。而HDFS（Hadoop Distributed File System）是Hadoop的文件系统，用于存储和管理Hadoop集群中的大量数据。
在Hive中创建了表之后，我们通常需要查看这些表的数据存储在HDFS上的具体位置。本
原创
2024-05-31 04:21:51
67阅读
一、概念Hive是基于Hadoop的开源数据仓库工具，用于处理海量结构化数据； Hive把HDFS中结构化的数据映射成表； Hive通过把HiveSQL进行解析和转换，最终生成一系列基于Hadoop的MapReduce任务，通过执行这些任务完成数据处理。 理解：若没有hive则需要直接使用MapReduce直接处理数据，耗时耗力分区相当于创建不同文件夹二、数据准备1.在hadoop的家目录下新建一
转载
2023-07-12 11:19:29
379阅读
2.1 Hive临时表数据存储设置从Hive1.1开始临时表可以存储在内存或SSD，使用hive.exec.temporary.table.storage参数进行配置，该参数有三种取值：memory、ssd、default。如果内存足够大，将中间数据一直存储在内存，可以大大提升计算性能。2.1 Hive临时表测试代码:set hive.exec.temporary.table.storage =
原创
2022-07-18 19:11:39
599阅读
# Hive建立临时表的步骤
## 1. 确定临时表的结构
在建立Hive的临时表之前，首先需要确定表的结构，包括表名、列名和数据类型。临时表通常用于临时存储一些中间结果，因此可以根据具体需求来确定表的结构。
## 2. 创建临时表
在Hive中，可以使用`CREATE TABLE`语句来创建表。以下是创建临时表的代码示例：
```sql
CREATE TEMPORARY TABLE temp
原创
2023-10-18 08:10:36
444阅读
# 将HDFS数据直接传入MySQL的流程
在大数据和数据处理的世界里，常常需要将分布式文件系统（如HDFS）中的数据传到关系数据库（如MySQL）。这个过程通常可以通过Hive表来实现，但在某些情况下，我们会希望直接将HDFS中的数据导入MySQL，而不需要建立Hive表。本文将详细介绍如何实现这一目标。
## 整体流程
我们可以将整个过程分为以下几个步骤：
| 步骤编号 | 步骤
实验目的要求 目的：（1）掌握数据仓库工具Hive的安装和配置；要求：完成Hive工具的安装和配置；Hive工具能够正常启动运行；Hive控制台命令能够正常使用；能够正常操作数据库、表、数据； 实验环境  
转载
2023-07-12 19:40:44
336阅读
