热门 最新 精选 话题 上榜
分类目录:商业智能《数据仓库Hive编程》总目录下面我们一起来研究文件格式,首先举个最简单的例子,也就是文本格式文件。毫无疑问,用户应该很熟悉以逗号或者制表符分割的文本文件,也就是所谓的逗号分隔值(CSV)或者制表符分割值(TSV)。只要用户需要,Hive是支持这些文件格式的,在后面的文章将会介绍其具体使用方式。然而,这两种文件格式有一个共同的缺点
原创 2022-01-24 17:53:33
229阅读
hive为用户提供了三个虚拟列:用户可以通过这三个虚拟列确定记录是来自哪个文件以及这条记录的具体位置信息 INPUT__FILE__NAME 返回记录所在的具体hdfs文件全路径 hive> select sys_tra_no,INPUT__FILE__NAME from testcom_rcfil
原创 2022-01-13 09:43:54
454阅读
hive从3.0.0开始提供hivemetastore单独服务作为像presto、flink、spark等组件的元数据中心。但是默认情况下hivemetastore在启动之后是不需要进行认证就可以访问的。所以本文基于大数据组件中流行的kerberos认证方式,对hivemetastore进行认证配置。如果您还不了解如何单独启用hivemetastore服务,那么您可以参考下述文章。Presto使用
原创 精选 2022-01-11 02:50:50
1024阅读
1点赞
hive metastore配置kerberos认证
Hive UDF是什么?有什么用?怎么用?什么原理?本文从UDF使用入手,简要介绍相关源码,UDF从零开始。
原创 2022-01-10 10:39:41
745阅读
1点赞
学习拉钩大前端课程刚刚接近三周,却感觉收获的知识比过去三个月还要多。课程非常契合我自己的学习步骤,先从介绍和概念开始,然后是主体内容细节讲解,最后还会介绍这些技巧的优缺点,实用性等等。看完之后会让我对于该知识体系有一个很清洗和深入的理解,并且对于怎么使用所学知识有一个大致的思路。本人接触前端到现在也已经四年有余了,工作之余自学技能的时候都会思考如何应用在实际的代码开发中。这一点拉钩课程里老师的理念
原创 2022-01-09 23:04:25
429阅读
问题: 监控到生产的hiveserver2大量告警和zookeeper后端失联告警异常先是告警znode找不到空指针,然后不断重连,日志大量告警分析过程1、分析hiveserver2功能(hive shell,beelinezookeeper访问,api,job日志均正常) ---这里有自动化工具和脚本和监控检测2、分析zookeeper事物top,故障期间有2个异常znode使用分布式锁不断的c
原创 2022-01-04 17:18:48
3589阅读
1点赞
hiveserver2 log大量告警Background operation retry gave up排查思路分享
结构上Hive On Spark和SparkSQL都是一个翻译层,把一个SQL翻译成分布式可执行的Spark程序。
原创 2022-01-04 11:08:13
784阅读
1点赞
      最近想练练hive,就整了个linux的虚拟机,然后配置了单机的hadoop,下载了hive,在里面建了一个test库,库里建了几张表。      虚拟机因为点问题,强制重启了一下。重启以后,进入hive,sqlshowdatabases;  &n
IT~技术交流群添加微信号:liudd666haha备注进群,会拉进交流群互帮互助,IT之路不孤独!本篇来源:​​ ​ https://liudongdong.top/archives/hiveshi-ba-hive-zhi-ya-suo-cun-chu-shi-cao​​本系列来源:​​ ​ https://liudongdong.top/categori
原创 2021-12-30 16:58:24
457阅读
yyds干货盘点
#yyds干货盘点# Hive | 十八、hive之压缩存储实操
IT~技术交流群添加微信号:liudd666haha备注进群,会拉进交流群互帮互助,IT之路不孤独!本篇来源:​​ ​ https://liudongdong.top/archives/hiveshi-qi-hive-zhi-hadoop-ya-suo-pei-zhi​​本系列来源:​​ ​ https://liudongdong.top/categorie
原创 2021-12-30 16:57:08
371阅读
yyds干货盘点
#yyds干货盘点# Hive | 十七、hive之Hadoop压缩配置
IT~技术交流群添加微信号:liudd666haha备注进群,会拉进交流群互帮互助,IT之路不孤独!本篇来源:​​ ​ https://liudongdong.top/archives/hiveshi-liu-hive-zhi-zi-ding-yi-udtf-han-shu​​本系列来源:​​ ​ https://liudongdong.top/catego
原创 2021-12-30 16:55:24
387阅读
yyds干货盘点
#yyds干货盘点# Hive | 十六、hive之自定义UDTF函数
IT~技术交流群添加微信号:liudd666haha备注进群,会拉进交流群互帮互助,IT之路不孤独!本篇来源:​​ ​ https://liudongdong.top/archives/hiveshi-wu-hive-zhi-zi-ding-yi-udf-han-shu​​本系列来源:​​ ​ https://liudongdong.top/categori
原创 2021-12-30 16:53:44
510阅读
yyds干货盘点
#yyds干货盘点# Hive | 十五、hive之自定义UDF函数
IT~技术交流群添加微信号:liudd666haha备注进群,会拉进交流群互帮互助,IT之路不孤独!本篇来源:​​ ​ https://liudongdong.top/archives/hiveshi-si-hive-zhi-chuang-kou-han-shu​​本系列来源:​​ ​ https://liudongdong.top/categories/h
原创 2021-12-30 16:51:10
335阅读
yyds干货盘点
#yyds干货盘点# Hive | 十四、hive之窗口函数
IT~技术交流群添加微信号:liudd666haha备注进群,会拉进交流群互帮互助,IT之路不孤独!本篇来源:​​ ​ https://liudongdong.top/archives/hiveshi-san-hive-zhi-xi-tong-nei-zhi-han-shu​​本系列来源:​​ ​ https://liudongdong.top/catego
原创 2021-12-30 16:50:07
266阅读
yyds干货盘点
#yyds干货盘点# Hive | 十三、hive之系统内置函数
IT~技术交流群添加微信号:liudd666haha备注进群,会拉进交流群互帮互助,IT之路不孤独!本篇来源:​​ ​ https://liudongdong.top/archives/hiveshi-er-hive-zhi-fen-qu-biao-he-fen-tong-biao​​本系列来源:​​ ​ https://liudongdong.top/ca
原创 2021-12-30 16:48:44
316阅读
yyds干货盘点
#yyds干货盘点# Hive | 十二、hive之分区表和分桶表
IT~技术交流群添加微信号:liudd666haha备注进群,会拉进交流群互帮互助,IT之路不孤独!本篇来源:​​ ​ https://liudongdong.top/archives/hiveshi-yi-hive-zhi-fen-zu-he-pai-xu​​本系列来源:​​ ​ https://liudongdong.top/categories/hiv
原创 2021-12-30 16:47:09
350阅读
yyds干货盘点
#yyds干货盘点# Hive | 十一、hive之分组和排序
IT~技术交流群添加微信号:liudd666haha备注进群,会拉进交流群互帮互助,IT之路不孤独!本篇来源:​​ ​ https://liudongdong.top/archives/hiveshi-hive-zhi-duo-biao-lian-jie​​本系列来源:​​ ​ https://liudongdong.top/categories/hive​
原创 2021-12-30 16:32:45
553阅读
yyds干货盘点
#yyds干货盘点# Hive | 十、hive之多表连接
IT~技术交流群添加微信号:liudd666haha备注进群,会拉进交流群互帮互助,IT之路不孤独!本篇来源:​​ ​ https://liudongdong.top/archives/hivejiu-hive-ji-chu-cha-xun​​本系列来源:​​ ​ https://liudongdong.top/categories/hive​​零、整体语法
原创 2021-12-30 16:31:37
333阅读
yyds干货盘点
#yyds干货盘点# Hive | 九、hive基础查询
IT~技术交流群添加微信号:liudd666haha备注进群,会拉进交流群互帮互助,IT之路不孤独!本篇来源:​​ ​ https://liudongdong.top/archives/hiveba-hive-zhi-shu-ju-dao-chu​​本系列来源:​​ ​ https://liudongdong.top/categories/hive​​[to
原创 2021-12-30 16:30:10
344阅读
yyds干货盘点
#yyds干货盘点# Hive | 八、hive之数据导出
IT~技术交流群添加微信号:liudd666haha备注进群,会拉进交流群互帮互助,IT之路不孤独!本篇来源:​​ ​ https://liudongdong.top/archives/hiveqi-hive-zhi-shu-ju-dao-ru​​本系列来源:​​ ​ https://liudongdong.top/categories/hive​​一、向表
原创 2021-12-30 16:29:09
307阅读
yyds干货盘点
#yyds干货盘点# Hive | 七、hive之数据导入
IT~技术交流群添加微信号:liudd666haha备注进群,会拉进交流群互帮互助,IT之路不孤独!本篇来源:​​ ​ https://liudongdong.top/archives/hiveliu-hive-zhi-ddl-shu-ju-ding-yi​​本系列来源:​​ ​ https://liudongdong.top/categories/hive
原创 2021-12-30 16:28:01
329阅读
yyds干货盘点
#yyds干货盘点# Hive | 六、hive之DDL数据定义
首先就这个事情,汝自己有没有做得不对不好的地方?
原创 2021-12-30 16:27:39
206阅读
IT~技术交流群添加微信号:liudd666haha备注进群,会拉进交流群互帮互助,IT之路不孤独!本篇来源:​​ https://liudongdong.top/archives/hivewu-hive-shu-ju-lei-xing​​本系列来源:​​ https://liudongdong.top/categories/hive​​一、基本数据类型1. 基本数据类型对于
原创 2021-12-30 16:24:34
366阅读
yyds干货盘点
#yyds干货盘点# Hive | 五、hive数据类型
IT~技术交流群添加微信号:liudd666haha备注进群,会拉进交流群互帮互助,IT之路不孤独!本篇来源:​​ https://liudongdong.top/archives/hivesi-hive-chang-jian-ming-ling​​本系列来源:​​ https://liudongdong.top/categories/hive​​一、hive常用交互命令[li
原创 2021-12-30 16:22:47
358阅读
yyds干货盘点
#yyds干货盘点# Hive | 四、hive常见命令
IT~技术交流群添加微信号:liudd666haha备注进群,会拉进交流群互帮互助,IT之路不孤独!本篇来源:​​ https://liudongdong.top/archives/hivesan-hive-duo-zhong-fang-wen-xing-shi​​本系列来源:​​ https://liudongdong.top/categories/hive​​一、使用元数据
原创 2021-12-30 16:21:06
316阅读
yyds干货盘点
#yyds干货盘点# Hive | 三、hive多种访问形式
IT~技术交流群添加微信号:liudd666haha备注进群,会拉进交流群互帮互助,IT之路不孤独!本篇来源:​​ https://liudongdong.top/archives/hiveer-hive-an-zhuang​​本系列来源:​​ https://liudongdong.top/categories/hive​​一、Hive安装地址Hive官网地址http://h
原创 2021-12-30 16:18:00
308阅读
yyds干货盘点
#yyds干货盘点# Hive | 二、hive安装
IT~技术交流群添加微信号:liudd666haha备注进群,会拉进交流群互帮互助,IT之路不孤独!本篇来源:​​https://liudongdong.top/archives/yi-hive-ji-ben-gai-nian​​本系列来源:​​https://liudongdong.top/categories/hive​​一、 什么是 Hive1. hive简介Hive:由 Facebook
原创 精选 2021-12-30 16:10:54
2504阅读
yyds干货盘点
#yyds干货盘点# Hive | 一、hive基本概念
虾米大王教你学编程系列之java入门基础
原创 2021-12-28 17:56:07
119阅读
Hive的优化主要分为:配置优化、SQL语句优化、任务优化等方案。其中在开发过程中主要涉及到的可能是SQL优化这块。优化的核心思想是:减少数据量(例如分区、列剪裁)避免数据倾斜(例如加参数、Key打散)避免全表扫描(例如on添加加上分区等)减少job数(例如相同的on条件的join放在一起作为一个任务)本文首发在公众号【五分钟学大数据】HQL语句优化1.使用分区剪裁、列剪裁在分区剪裁中,当使用外关
原创 精选 2021-12-28 09:16:50
887阅读
1点赞
?作者:“大数据小禅”?个人主页:大数据小禅(soyboke.blog.csdn.net)?欢迎小伙伴们点赞?、收藏⭐、留言?@TOC(面试题目录)1.Hive表关联查询,如何解决数据倾斜的问题?1.倾斜原因:map输出数据按keyHash的分配到reduce中,由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce上的数据量差异过大。1)key分布不均匀;2)业务数据本
原创 2021-12-27 09:28:27
257阅读
yyds干货盘点
#yyds干货盘点#【最全的大数据面试系列】Hive面试题大全