Hive的数据在哪里??
- Hive的数据存放在HDFS之上(真实数据)
- Hive的元数据可以存放在RDBMS之上(元数据)
Hive数据抽象结构图
Database:
- Hive 中的Database 相当于是Hdfs中的一个文件夹
- Hive 默认自带一个default数据库
- 默认数据库存放位置:/user/hive/warehouse
- 位置是由参数决定的:hive.metastore.warehouse.dir
- Hive所有参数的查询:https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties
- Hive中需要参看参数信息 使用
set key
,如果需要修改参数的话 使用set key = value
的方式
- 这里我是用set 来查看hive中数据库在Hdfs中 默认的存放位置
- 这里需要注意的是在初始安装好hive之后,Hdfs上并不会有 /user/hive/warehouse 这个目录.需要对hive进行操作之后才会在Hdfs中创建这个目录
DDL简介
DDL : Data Definition Language(描述Hive表数据的结构) 一般包含对数据库的
创建
修改
删除
使用
一些操作;
Create Database(创建数据库)
官网 创建 数据库 详细的创建语法
CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name
[COMMENT database_comment]
[LOCATION hdfs_path]
[WITH DBPROPERTIES (property_name=property_value, ...)];
- IF NOT EXISTS:加上这句话代表判断数据库是否存在,不存在就会创建,存在就不会创建(生产中一定要添加IF NOT EXISTS)。
- COMMENT:数据库的描述
- LOCATION:创建数据库的地址,不加默认在/user/hive/warehouse/路径下
- WITH DBPROPERTIES:数据库的属性
生产中一般我们使用如下语句 即可
CREATE DATABASE IF NOT EXISTS database_name;
创建的数据库目录在 ${hive.metastore.warehouse.dir}/dbname.db中.
创建数据库
查看数据库所在目录
测试不在默认路径下创建数据库,并且添加 额外的描述信息
查看数据的详细信息
desc database extended d5_hive_2;
Drop Database(删除数据库)
DROP (DATABASE|SCHEMA) [IF EXISTS] database_name [RESTRICT|CASCADE];
- RESTRICT:默认是restrict,如果该数据库还有表存在则报错;
- CASCADE:级联删除数据库(当数据库还有表时,级联删除表后在删除数据库)。
测试删除表
drop database d5_hive_2;
在删除 d5_hive 之前我先在 d5_hive中创建一张表,然后在删除数据库
drop database d5_hive;
hive (d5_hive)> drop database d5_hive;
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. InvalidOperationException(message:Database d5_hive is not empty. One or more tables exist.)
执行的时候报的错误信息,提示 d5_hive不为空,有表存在, 所以在删除数据的时候,如果有表的存在是不能直接删除的.
如果真的确定这个数据库不用了,需要删除,不需要其中的表数据了,那么可以使用如下的命令:
切记 此命令基本不用!!!
drop database d5_hive CASCADE;
Alter Database(修改数据库内容)
LTER (DATABASE|SCHEMA) database_name SET DBPROPERTIES (property_name=property_value, ...); -- (Note: SCHEMA added in Hive 0.14.0)
ALTER (DATABASE|SCHEMA) database_name SET OWNER [USER|ROLE] user_or_role; -- (Note: Hive 0.13.0 and later; SCHEMA added in Hive 0.14.0)
ALTER (DATABASE|SCHEMA) database_name SET LOCATION hdfs_path; -- (Note: Hive 2.2.1, 2.4.0 and later)
Use Database(切换数据库)
USE database_name;
USE DEFAULT;
Show Databases(显示数据库)
SHOW (DATABASES|SCHEMAS) [LIKE 'identifier_with_wildcards'
Hive中的数据类型
- Hive所有的数据类型
- 生产中常用的数据类型为
- 数字类型: int bigint float double
- 字符串: string
- 生产上不要使用
datetime
和boolean
类型 全部使用string类型
Hive 数据分隔符
hive创建表,然后数据是存储在HDFS之上,所以创建表的时候要指定分隔符;
- 默认的数据分隔符是
\001 ^A
- 常见的数据分隔符 是
空格
和制表符(\t)
表
创建表
Create Table
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later)
[(col_name data_type [COMMENT col_comment], ... [constraint_specification])]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
[CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]
[SKEWED BY (col_name, col_name, ...) -- (Note: Available in Hive 0.10.0 and later)]
ON ((col_value, col_value, ...), (col_value, col_value, ...), ...)
[STORED AS DIRECTORIES]
[
[ROW FORMAT row_format]
[STORED AS file_format]
| STORED BY 'storage.handler.class.name' [WITH SERDEPROPERTIES (...)] -- (Note: Available in Hive 0.6.0 and later)
]
[LOCATION hdfs_path]
[TBLPROPERTIES (property_name=property_value, ...)] -- (Note: Available in Hive 0.6.0 and later)
[AS select_statement]; -- (Note: Available in Hive 0.5.0 and later; not supported for external tables)
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name
LIKE existing_table_or_view_name
[LOCATION hdfs_path];
data_type
: primitive_type
| array_type
| map_type
| struct_type
| union_type -- (Note: Available in Hive 0.7.0 and later)
primitive_type
: TINYINT
| SMALLINT
| INT
| BIGINT
| BOOLEAN
| FLOAT
| DOUBLE
| DOUBLE PRECISION -- (Note: Available in Hive 2.2.0 and later)
| STRING
| BINARY -- (Note: Available in Hive 0.8.0 and later)
| TIMESTAMP -- (Note: Available in Hive 0.8.0 and later)
| DECIMAL -- (Note: Available in Hive 0.11.0 and later)
| DECIMAL(precision, scale) -- (Note: Available in Hive 0.13.0 and later)
| DATE -- (Note: Available in Hive 0.12.0 and later)
| VARCHAR -- (Note: Available in Hive 0.12.0 and later)
| CHAR -- (Note: Available in Hive 0.13.0 and later)
array_type
: ARRAY < data_type >
map_type
: MAP < primitive_type, data_type >
struct_type
: STRUCT < col_name : data_type [COMMENT col_comment], ...>
union_type
: UNIONTYPE < data_type, data_type, ... > -- (Note: Available in Hive 0.7.0 and later)
row_format
: DELIMITED [FIELDS TERMINATED BY char [ESCAPED BY char]] [COLLECTION ITEMS TERMINATED BY char]
[MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]
[NULL DEFINED AS char] -- (Note: Available in Hive 0.13 and later)
| SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value, property_name=property_value, ...)]
file_format:
: SEQUENCEFILE
| TEXTFILE -- (Default, depending on hive.default.fileformat configuration)
| RCFILE -- (Note: Available in Hive 0.6.0 and later)
| ORC -- (Note: Available in Hive 0.11.0 and later)
| PARQUET -- (Note: Available in Hive 0.13.0 and later)
| AVRO -- (Note: Available in Hive 0.14.0 and later)
| JSONFILE -- (Note: Available in Hive 4.0.0 and later)
| INPUTFORMAT input_format_classname OUTPUTFORMAT output_format_classname
constraint_specification:
: [, PRIMARY KEY (col_name, ...) DISABLE NOVALIDATE ]
[, CONSTRAINT constraint_name FOREIGN KEY (col_name, ...) REFERENCES table_name(col_name, ...) DISABLE NOVALIDATE
按照官方文档给的信息,创建一个表看看详细信息
CREATE TABLE table_name (
col_name data_type,
col_name data_type,
col_name data_type,
col_name data_type,
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
;
hive (d5_hive)> use d5_hive;
OK
Time taken: 0.031 seconds
hive (d5_hive)> CREATE TABLE ruoze_emp(
> empno int,
> ename string,
> job string,
> mgr int,
> hiredate string,
> sal double,
> comm double,
> deptno int
> )
> ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
> ;
OK
Time taken: 0.141 seconds
查看表的信息
desc formatted ruoze_emp;
复制一张表的结构
使用 like
可以直接复制表的结构,不会有表的数据
hive (d5_hive)> create table ruoze_emp_2 like ruoze_emp;
OK
复制表的结构和数据
在create table 最后 加上 as
后面 添加查询语句 即可
hive (d5_hive)> create table ruoze_emp_3 as select * from ruoze_emp;
加载数据
从本地加载数据到hive中
查看下本地的数据
执行加载数据操作
hive (d5_hive)> load data local inpath '/home/hadoop/data/emp.txt' overwrite into table ruoze_emp;
Loading data to table d5_hive.ruoze_emp
Table d5_hive.ruoze_emp stats: [numFiles=1, numRows=0, totalSize=700, rawDataSize=0]
OK
Time taken: 0.418 seconds
查看hdfs中的数据
这样进一步理解hive的数据是保存在hdfs中的,
修改表
修改表名
ALTER TABLE table_name RENAME TO new_table_name;
修改表属性
ALTER TABLE table_name SET TBLPROPERTIES table_properties;
table_properties:
: (property_name = property_value, property_name = property_value, ... )
修改表字段
ALTER TABLE table_name SET TBLPROPERTIES ('comment' = new_comment);
删除表
drop table table_name
在 hive中删除表之后,hdfs中的数据也不会存在了