启用lzo压缩对于小规模集群还是很有用的，压缩比率大概能达到原始日志大小的1/3。同时解压缩速度也比较快，Hadoop原生是支持gzip和bzip2压缩的，这两种压缩虽然压缩比率比lzo更大，但是在做map reduce解压缩的时候，慢的不能忍，所以通常不会用gzip或者bzip2。相同数据量，gzip的mr速度大概是lzo的1.5-2倍，而bzip2是lzo的3-4倍。不过lzo不比gzip和b
转载
2023-07-30 15:30:48
7阅读
在Hive中，函数包括以下类型：一、内置函数 1、数学函数 [plain]
1. （1）round：四舍五入
2. select round(数值,小数点位数);
3. （2）ceil：向上取整
4. select ceil(45.6); --46
5. （3）floor：向下取整
6. select fl
转载
2023-05-22 09:21:09
461阅读
转载
2021-09-06 10:40:07
121阅读
# Hive 语法大全实现教程
## 1. 前言
在开始学习如何实现"Hive 语法大全"之前，我们需要先了解Hive是什么以及它的基本概念。Hive是一个构建在Hadoop之上的数据仓库系统，它使用类似于SQL的HiveQL语言来查询和分析大数据。
本教程将指导你完成如何构建一个包含完整Hive语法的文档，并向你展示每个步骤所需的代码和解释。
## 2. 流程图
```mermaid
原创
2023-12-23 04:06:54
52阅读
一、关系运算：1. 等值比较: = 语法：A=B 操作类型：所有基本类型 描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSE 举例： &nb
转载
精选
2014-04-22 09:50:43
490阅读
数学函数Return TypeName (Signature)DescriptionDOUBLEround(DOUBLE a)Returns the rounded BIGINT value
原创
2021-08-07 10:43:05
222阅读
摘要 Hive内部提供了很多函数给开发者使用，包括数学函数，类型转换函数，条件函数，字符函数，聚合函数，表生成函数等等，这些函数都统称为内置函数。 目录 数学函数 集合函数 类型转换函数 日期函数 条件函数 字符函数 聚合函数 表生成函数 数学函数 Return Type Name (Signatu
转载
2019-01-15 14:57:00
122阅读
2评论
# 实现Hive函数大全的步骤和代码示例
## 前言
Hive是一种数据仓库基础设施，用于处理大规模数据集的存储和分析。它提供了类似于SQL的查询语言，称为HiveQL，使开发者可以使用类似于关系型数据库的方式进行数据操作。Hive还提供了许多内置函数，用于在查询中进行数据转换、聚合和分析。本文将指导刚入行的小白如何实现"Hive函数大全"。
## 步骤概览
下面的表格展示了实现"Hive
原创
2023-08-22 05:24:02
31阅读
hive函数大全
原创
2021-08-05 13:48:25
473阅读
假设我们已经发现 Key = BigKey 这个字段存在严重数据倾斜，那么可以通过 group by + 随机数取模来打散这个倾斜的 Key，外围再包一层 group by 聚合统计最后的结果select t.Key as Key, sum(t.Cnt) as Cntfrom ( select Key, count(*) as Cnt
原创
2022-03-03 21:58:19
361阅读
wiki：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDFmap,array: https://cwiki.apache.org/Hive/languagemanual-lateralview.html doc下载：http://ishare.iask.sina.com.cn/f/25020082
转载
2022-06-20 09:10:15
117阅读
wiki：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDFmap,array: https://cwiki.apache.org/Hive/languagemanual-lateralview.html doc下载：http://ishare.iask.sina.com.cn/f/250200
转载
2023-09-10 22:38:21
51阅读
HIVE SQL函数实例讲解一、SQL函数汇总1.数学函数2.日期函数3.字符函数4.聚合函数5.取数常用函数二、表操作相关1.建表2.表删除3.表结构查询4.视图与物化视图5.索引三、注意事项四、练习 HIVE是一个建立在Hadoop上的数据仓库平台，它提供了一系列的工具，可进行数据提取、转化、加载(ETL)，这是一种可以存储、查询、和分析存储在Hodoop中的大规模数据的机制。HIVE定
转载
2023-05-22 10:05:31
721阅读
Hive 内部提供了很多函数给开发者使用，包括数学函数，类型转换函数，条件函数，字符函数，聚合函数，表生成函数等等，这些函数都统称为内置函数。 在 hive 中可通过以下命令查看函数信息：–显示所有的可用函数，包括运算符、内置函数、自定义函数 show functions; –显示指定函数的描述信息 desc function year; –显示指定函数的详细信息 desc function ex
转载
2023-09-11 17:09:27
1023阅读
一.引言上周遇到了大表join大表的情况，调试了一天终于调通，期间发现对hive设置参数十分不熟悉才会导致调优花了一天时间，特此整理常用参数供以后参考。二.场景1.Hive 动态分区set hive.exec.dynamic.partition.mode=nonstrict; 动态分区的好处是可以根据表字段自动将数据加入到指定分区，相比于写死固定分区更加便捷。以下实例基于your_table是单分
转载
2023-08-31 01:59:36
149阅读
目录一、关系运算：1. 等值比较: =2. 不等值比较: <>3. 小于比较: <4. 小于等于比较:5. 大于比较: >6. 大于等于比较: >=7. 空值判断: IS NULL8. 非空判断: IS NOT NULL9. LIKE 比较: LIKE10. JAVA 的 LIKE 操作: RLIKE11. REGEXP 操作: REGEXP二、数学运算：1. 加法操
转载
2023-11-05 10:43:39
108阅读
======================================一、关系函数1.等值比較：= 语法：A=B操作类型：全部基本类型2.不等值比較： 语法：AB 操作类型：全部基本类型3.小于比較：select 4^8 from sun_test; 12 hive>select 6...
转载
2015-10-27 17:29:00
177阅读
2评论
# Hive SQL语句大全：数据处理的利器
