sql语句指定数据库名称是个好习惯;
GRANT根据roles,group,or individuals设置权限;
CREATE TABLE语句
指定数据在文件中如何被分割
CREATE TABLE jobs (id INT,title STRING, salary INT, posted TIMESTAMP)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ',';
也可以terminated by '\t'。如果不指定hive就使用默认字段分割符(ASCII Control+A),不能打印出来,使用cat去看显示无意义字符。
使用EXTERNAL删除表时不删除数据,保障数据安全性。
CREATE EXTERNAL TABLE default.investors (name STRING, amount INT, share DECIMAL(4,3));
把数据从本地上传到HDFS合适位置:
hdfs dfs -put ~/**/investor /user/hive/warehouse/
STORED AS语句
CREATE TABLE jobs (id INT,title STRING, salary INT, posted TIMESTAMP)
STORED AS TEXTFILE;
Hive 默认文件格式就是TEXTFILE,不写这一句也行。但是当你view gibberish时设置为好。
LOCATION语法:
当数据量很多是,把数据复制到hive的数据仓库下不如从它目前位置抽取来的高效。并且当源数据改变时,复制的数据就过期了。指定HDFS之外的存储路径时候,路径要写完全。
CREATE TABLE jobs (id INT,title STRING, salary INT, posted TIMESTAMP)
LOCATION '/s3a://bucket/folder/;
比较:EXTERNAL是指不被Hive管理,不是指不存储在hive的warehouse里面,重在“管理”。LOCATION语句才决定数据路径。
IF NOT EXISTS
当你写数据库或数据表的脚本时侯特别有用,不会再已经创建时抛出error。
CREATE TABLE IF NOT EXISTS table_name
用LIKE克隆表
相同的属性和列名定义,这时候用LIKE创建新表.
CREATE TABLE jobs LIKE investor;
使用Hive SerDes
SerDes代表serializer/deserializer,分别代表be stored和reading.OpenCSVSerde/JsonSerDe/RegexSerDe.
DESCRIBE tablename,查看columns in a table.
SHOW CREATE TABLE jobs;也可以通过“反应这张表所有的change”去了解表结构和属性。当需要重新创建表时特别有用。如果表使用hive的SerDes创建的,那么一定要在hive中执行语句DESCRIBE语句。
DROP TABLE IF EXISTS table_name;
比如存储在s3 bucket里面即使without EXTERNAL 也不能删除表。
出于安全原因,当你要删除的数据库含有表时,hive会抛出错误。你能过override这个安全特征,通过CASCADE.DROP DATABASE database_name CASCADE;
修改已存在的表
有时候删除和重建表更改要简单,你要小心,不要删除数据。这在传统数据库中是不行的(not feasible)。hive中由于data和metadat分离,通过external managed即使删除也不影响data。
ALTER TABLE customers RENAME TO clients;重命名
ALTER TABLE old.tablename RENAME TO new_database.tablename;移动到另一数据库
ALTER TABLE tablename CHANGE old_colname new_colname type;改列名后数据格式
ALTER TABLE employees CHANGE salary salary AFTER office_id;or use FIRST,修改列序
ALTER TABLE table_name ADD COLUMNS (col1 TYPE1, col2 TYPE2, ...);添加列
ALTER TABLE table_name DROP COLUMNS colname; hive中不能删除列,impala可以。
替换全部列:对删除多列有用,或则添加列到列序的中间位置.
ALTER TABLE table_name REPLACE COLUMNS (col1 TYPE1, col2 TYPE2,...)
ALTER TABLE table_name SET TBLPROPERTIES('EXTERNAL'='TRUE')
EXTERNAL and TRUE must be uppercase