几种压缩方式的优缺点及应用场景1. Gzip优点: 压缩率比较高,压缩/解压速度也比较快,hadoop本身支持。缺点: 不支持分片。应用场景:当每个文件压缩之后在1个block块大小内, 可以考虑用gzip压缩格式。2. Bzip2优点: 支持分片,具有很高的压缩率,比gzip压缩率都高,Hadoop本身支持。缺点: 压缩/解压速度慢,不支持Hadoop native库。应用场景: 可
转载
2023-09-01 15:33:26
115阅读
解压hive压缩包后, 进入到conf目录cp hive-default.xml.template hive-default.xmlcp hive-env.xml.template hive-env.xmlcp hive-default.xml.template hive-site.xmlMetastore不分开模式hive_site.xml:<?xml version="1.0" enco
原创
2022-01-11 16:36:03
62阅读
调整字段顺序: ALTER TABLE vehicle_gps_log CHANGE create_time create_time string AFTER client_time ; OK Time taken: 0.339 seconds
原创
2022-01-04 17:12:17
81阅读
Hive hook是hive的钩子函数,可以嵌入HQL执行的过程中运行,比如下面的这几种情况 参考 https://www.slideshare.net/julingks/apache-hive-hooksminwookim130813 有了Hook,可以实现例如非法SQL拦截,SQL收集和审计等功
转载
2020-03-21 22:00:00
881阅读
2评论
http://blog..net/superye1983Hive的安装其实很简单下载tar包解压,然后配置一下HIVE_HOME和系统PATH就可以了然后运行hiveLogging initialized using configuration in jar:file:/home/kira/...
转载
2013-07-30 16:05:00
266阅读
2评论
一、什么是Hive Hive 是建立在Hadoop上的数据仓库基础构架。
原创
2022-03-16 17:53:13
101阅读
一、什么是Hive Hive 是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL ),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类SQL查询语言,称为 HQL,它允许熟悉SQL的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer
原创
2021-07-06 17:25:33
238阅读
==========学习笔记hive提供了一个被称为Hive查询语句的SQL方言,来查询存储再Hadoop集群中的数据hive和mysql方言最接近1.hive最大的限制就是hive不支持记录基本的插
原创
2023-04-26 17:43:36
330阅读
来源:http://michael-roshen.iteye.com/blog/2115268 例子:INSERT OVERWRITE TABLE prices_collected_${hiveconf:wid_version}select pc.collect_id as product_id ,regexp_extract(pc.price,'(\\d*\\.?\\d+)'
转载
2017-02-15 23:16:24
1715阅读
转载https://blog..net/an342647823/article/details/196247331.hive模糊搜索表showtableslike'name';2.查看表结构信息descformattedtable_name;desctable_name;3.查看分区信息showpartitionstable_name;4.根据分区查询数据selecttab
转载
2018-07-27 10:24:07
613阅读
1.hive模糊搜索表 show tables like '*name*';2.查看表结构信息 desc formatted table_name; desc table_name;3.查看分区信息 show partitions table_name;4.根据分区查询数据 select table
转载
2016-07-22 10:58:00
106阅读
2评论
1.Hive1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据,同时可以查询hadoop中的数据。 本质上讲,hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。 hive有一套映射工具,可以把SQL转换为MapReduce中的job,可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。
原创
2015-06-14 23:21:54
178阅读
系统环境:Hbase:0.90.3hive:0表、hbase表: CREATE ...
原创
2023-07-13 18:31:43
50阅读
Hive笔记整理(二)
原创
2018-03-10 21:34:29
10000+阅读
前两篇文章介绍了docker的基本命令如何安装hadoop那么大家会比较了解docker的基本语法的安装过程。那么咱们今天来一起安装一下hive。安装1、下载gitHub,地址:https://github.com/prasanthj/docker-hive-on-tez。如果背墙了,可以选择下载z...
原创
2021-08-24 16:04:06
1319阅读
使用beeline连接hive kinit -kt xxx.keytab xxx beeline -u "jdbc:hive2://10.65.13.98:10000/default;principal=hive/_HOST@CLOUDERA.SITE" 参考: https://docs.cloud
转载
2016-10-29 12:06:00
193阅读
2评论
hive库清表,删除数据 insert overwrite table lorry.bigdata select * from lorry.bigdata where 1=0 hive的simple模式 hive的select如果是fetch模式(select <columnname> from [
转载
2017-08-20 11:12:00
91阅读
2评论
笔记是基于《Hive编程指南》这本书和在实习过程和面试过程中碰到的问题或者经常使用的语法要点。 P.S. 对应的微信推文连接在下面,现在连看格式对不对都不想看了哈哈哈哈哈,如果觉得有帮助的话,可以关注一下哦~ HIVE SQL语法笔记mp.weixin.qq.com 综述介绍 HIVE是在Hado ...
转载
2021-10-13 11:34:00
277阅读
2评论
1.Hive1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据,同时可以查询hadoop中的数据。 本质上讲,hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。 hive有一套映射工具,可以把SQL转换为MapReduce中的job,可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。
原创
2022-04-22 15:59:35
304阅读
初衷:以前看过Hadoop方面的材料,但是一直以来都是与实际应用脱轨,现在有机会接触到真正的Hadoop集群,还是被他的性能所震撼,利用这个机会认真重新学习下Hadoop平台的使用,所以想整理下学习中的一些心得,以笔记的形式与大家分享一下。——2015.07.28一、Hive概述 Hive是基于Hadoop的一个数据
原创
2023-06-14 18:07:49
64阅读