数据库基本操作database数据库模式定义语言DDL(Data Definition Language)是用于描述数据库中要存储的现实世界实体的语言create database if not exists 数据库名; //创建数据库
show databases; //展示数据库
use 数据库名; //切换数据库
describe database 数据库名; //查看数据库更多描述信息
转载
2023-07-12 21:26:00
307阅读
//登陆hive WBE页面 sh $HIVE_HOME/bin/hive --serviece hwi1、建库 create database mydb; create database if no exists mydb; create database if no exists mydb location “/aa/bb”;3、删除数据库 drop database mydb; drop d
转载
2023-10-02 19:32:19
73阅读
Hive操作Hive作为Hadoop生态的数据仓库工具，支持类似SQL的结构化查询语句，与标准SQL不同的是，HiveSQL支持更多的函数，用于海量数据的处理数据库与数据仓库对比数据库数据仓库数据湖数据量MB、GBGB PB TBGB TB PB数据种类结构化数据 关系型数据、K-V数据关系型结构化数据结构化、半结构化、非结构化实现方式MySQL OracleHive SparkSQLOSS使用场
转载
2023-07-20 18:40:03
724阅读
目录1 体验1：Hive使用起来和Mysql差不多吗？1.1 背景1.2 过程1.3 验证1.4 结论2 体验2：如何才能将结构化数据映射成为表？2.1 背景2.2 过程2.3 验证2.4 结论3 体验3：使用hive进行小数据分析如何？3.1 背景3.2 过程3.3 验证3.4 结论1 体验1：Hive使用起来和Mysql差不多吗？1.1 背景对于初次接触Apache Hive的人来说，最大的疑
转载
2023-07-14 14:37:11
578阅读
目录概述一、存储Hive版本的元数据表（VERSION）二、Hive数据库相关的元数据表（DBS、DATABASE_PARAMS）1、DBS2、DATABASE_PARAMS三、Hive表和视图相关的元数据表1、TBLS2、TABLE_PARAMS 3、TBL_PRIVS四、Hive文件存储信息相关的元数据表1、SDS 2、SD_PARAMS 3、SERDES&nbs
转载
2023-07-20 19:56:53
459阅读
1.Hive的数据库操作 Hive中数据库的概念本质上仅仅是表的一个目录或者命名空间；然而，对于具有很多组和用户的大集群来说，这是非常有用的，因为这样可以避免表命名冲突； 如果用户没有使用use关键字显示指定数据库，那么将会使用默认的数据库default； 1.1 查看数据库show databases; 使用like关键字实现模糊匹配；show databases like 'h
转载
2024-06-19 04:10:30
97阅读
Hive体系介绍★ Hive简介Hive是架构在Hadoop上的数据仓库架构。它提供了一系列的工具，可以用这些工具来进行ETL，即数据的提取转化加载。这是一种可以存储、查询和分析存储在Hadoop中HDFS中的大规模数据的机制。Hive定义了简单的类SQL语言，称为QL，也被称为HQL.Hive的工作原理就是将SQL语句默诵成MR Job然后在Hadoop上运行。Hive的表就是HDFS的目录，表
转载
2023-09-14 23:46:26
60阅读
presto备份表第一次做的时候需要手工执行多次create table if not exists origin_tableName_bak as
select *
from origin_tableName;后来就想着能不能使用shell脚本的方式只要传入需要备份的表就可以自动备份，并打印我们关注的信息： 备份是否成功以及备份前后的数据条数for par in $@;do
echo "正在
转载
2023-07-12 13:04:25
223阅读
## 将Hive表换库的操作详解
在实际的数据处理过程中，有时候我们需要将Hive表从一个库迁移到另一个库，这可能是由于业务需要、数据整理或者权限管理的需要。下面我们将详细介绍如何在Hive中实现这一操作。
### 1. 创建源库以及目标库
首先，我们需要创建两个测试库，一个作为源库，一个作为目标库。在Hive中可以通过以下SQL语句来创建数据库：
```markdown
CREATE D
原创
2024-05-11 05:22:23
214阅读
绪、需求说明将源系统mysql表数据全量抽取到hive中作为ODS层，不保留历史变化create table T_YYBZB_TGH_BANKINFO
(
id int(8),
bank_id int(8),
bank_name varchar(200)
);
insert into T_YYBZB_TGH_BANKINFO (ID, BANK_ID, BANK_NA
# 学习如何在Hive中查看库表
作为一名经验丰富的开发者，你将要教导一位刚入行的小白如何在Hive中查看库表。在这篇文章中，我将为你详细介绍整个过程，包括步骤、代码和意义。
## 流程图
```mermaid
erDiagram
USER ||--o| DATABASE : 查看库表
DATABASE ||--| TABLE : 查看表
```
## 步骤
| 步骤 |
原创
2024-06-01 05:01:36
42阅读
文章目录一、数据存储二、内部表（Table）2.1、创建一个内部表，和mysql创建表基本一致,默认表存储在`hive.metastore.warehouse.dir`.2.1.1、可以指定表的存储位置， 通过location2.1.2、设置分割符， 默认存储按照制表符。2.2、通过子表查询创建内部表2.2.1、创建表：2.2.2、子查询创建表，同时指定分隔符三、分区表：根据某种规则进行分区，3
转载
2023-07-11 10:54:06
66阅读
hive的数据都存储在HDFS，主要是指Hive中的数据模型存储。Hive中的数据存储单元结构有：数据库Database、表table(内部表table、外部表external table)、分区partition、桶或簇 Buckets or Clusters。1， 数据库 Database在HDFS上对应相应的数据存储目录，通过hive的配置文件hive-site.xml的hive.metas
转载
2023-09-08 14:19:41
88阅读
概述Hive 的元数据信息通常存储在关系型数据库中，常用MySQL数据库作为元数据库管理。上一篇hive的安装也是将元数据信息存放在MySQL数据库中。Hive的元数据信息在MySQL数据中有57张表一、存储Hive版本的元数据表（VERSION） VERSION -- 查询版本信息该表比较简单，但很重要。VER_IDSCHEMA_VERSIONVERSION_COMMEN
转载
2023-07-28 11:47:21
330阅读
一：背景和传统的数据库表的概念类似，hive表由表数据和描述表结构等的元数据组成。表数据一般存储在HDFS中，当然也可以存储在其他文件系统中，比如S3中；表的元数据存储在一个关系型数据库中，比如MYSQL中，而不是存储在HDFS中。Hive中表分为两大类托管表(Managed table)也称之为受控表或内部表另外一种表是外部表(External table)。默认情况下，创建hive表时，hiv
转载
2023-09-03 10:15:25
53阅读
文章目录一、概述二、 FineBI 产品组成三、FineBI 架构四、功能概述1）数据准备（数据源）1、多数据源支撑2、数据管理3、数据关联4、基础数据处理2）数据处理（数据集）3）数据分析（数据可视化）1、可视化图表2、仪表板（可视化大屏）五、FineBI 安装六、简单使用1）连接数据源2）创建数据集3）可视化展示（仪表板） 一、概述FineBI 是帆软软件有限公司推出的一款商业智能（Busi
转载
2023-11-29 20:07:44
161阅读
hive是一个基于hadoop的数据仓库的工具，可以将分布式文件系统HDFS中的结构化数据，映射为一张张表。将映射成的元数据保存在用户设定的数据库中，并且可以使用类SQL的语言：Hive QL进行数据的分析处理。并且hive能根据表的参数设定，将表在HDFS中的实际数据按特定的格式保存下来。因此，hive在大数据读取方面有较好的性能表现。下面将介绍hive如何使用Hive QL创建一个表和创建表之
转载
2023-06-19 16:22:31
87阅读
1.简述Hive是hadoop生态圈中实现数据仓库的一项技术。虽然hadoop和hdfs的设计局限了Hive所能胜任的工作，但是hive仍然是目前互联网中最适合数据苍鹭的应用技术。不论从“品相还是举止”，hive都像一个关系型数据库。用户对数据库、表和列这类术语比较熟悉的话，那么掌握hive的查询语言HQL也轻而易举。不过，hive的实现和使用方式与传统的关系数据库相比，有很多不同的地方。2.内部
转载
2023-09-21 09:06:18
121阅读
用虚拟机安装了hive，并且配置了MySQL作为元数据管理，这里解释了各个表的信息
概述Hive 的元数据信息通常存储在关系型数据库中，常用MySQL数据库作为元数据库管理。上一篇hive的安装也是将元数据信息存放在MySQL数据库中。Hive的元数据信息在MySQL数据中有57张表一、存储Hive版本的元数据表（VERSION） VERSIO
转载
2023-07-03 15:02:34
182阅读
### hive库导出表结构的流程
为了帮助小白开发者实现hive库导出表结构的功能，我们将按以下步骤进行操作：
| 步骤 | 操作 | 代码 |
| ---- | ---- | ---- |
| 1 | 连接到hive服务 | `hive -e "use "` |
| 2 | 导出表结构 | `hive -e "show create table " > ` |
接下来，我们将详细介绍每一
原创
2023-11-02 09:40:41
315阅读
