hive 查询函数建立语句 hive 查询建表语句

转载

墨韵流香 2023-09-07 22:42:36

文章标签 hive 查询函数建立语句 hive 建表语句 hive建表语句 hive hadoop 文章分类 Hive 大数据

不用搭集群学习大数据的网站(hue)，快来感受下hive的魅力吧

废话不多说先上网址：http://demo.gethue.com/hue/

(谷歌浏览器打不开换IE浏览器试一试)

用户名：demo

密码：demo

进去就可以操作随时可以学习大数据了。

hive 查询函数建立语句 hive 查询建表语句_hive

进去hue界面后操作步骤

大家在里面可以随时写自己的HIVE了，一般的HIVE会转换成MapReduce程序跑出数据。

虽然说这个界面简单易操作，适合入门,但是要真正的学习大数据不仅要自己搭载集群还要懂得背后的原理和优化方法。

个人总结学习大数据组件hive三个步骤：

1、如何使用hive

首先要明白什么是HIVE,HIVE是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。它是hadoop的一个组件，在下图当中可以看到hive所处的位置。

其次为什么用hadoop中的hive，这里简单说一下，因为现在是大数据时代，移动互联网每天产生的数据可以用pb级别来衡量，传统的关系型数据根本不能满足其存储和计算需求。

hive 查询函数建立语句 hive 查询建表语句_hive_02

大数据架构图

最后说说如何使用hive,其实hive支持大部分的sql,只是有细微的差异，背后的原理也和传统的数据库也不一样，差异如下图可以看出。

hive 查询函数建立语句 hive 查询建表语句_hadoop_03

hive和关系数据库的对比

建表：

CREATE TABLE `customers`( `custid` int, `name` string, `email_preferences` struct>, `addresses` map>, `orders` array>>>) ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat' LOCATION 'hdfs://ip-172-31-19-94.us-west-2.compute.internal:8020/user/hive/warehouse/customers' TBLPROPERTIES ( 'COLUMN_STATS_ACCURATE'='false', 'last_modified_by'='demo', 'last_modified_time'='1549274028', 'numFiles'='1', 'numRows'='-1', 'rawDataSize'='-1', 'totalSize'='15812', 'transient_lastDdlTime'='1549274028') ca

查询：select count(0) from customers

hive 查询函数建立语句 hive 查询建表语句_hive_04