先备注下hive2合hive3计算逻辑不一样 且hive2存在bug 详情见上篇文章。decimal计算中我们主要是用+-*/那么这几个计算到底是什么样呢?比如 decimla(38,18)*decimla(38,18) =我们期望的是什么呢? decimla(38,18) 还是decimla(38,36)那万一数值是1234567890123456789.1*1234567890123            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-31 21:54:34
                            
                                333阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            在最近的项目开发中,有个业务需求是界面显示的数字需要保留两位小数,目前我想到的解决方法有两种:(1)在写SQL的时候,直接保留两位小数(2)在java代码里面将查询出来的数进行格式化处理,保留两位小数先说第一种方案:在SQL中的处理我使用的oracle数据库,所以有3个函数可以选择,分别是:(1)ROUND(A/B,2)ROUND()函数是会将计算结果进行四舍五入的,如果所需要的值需要进行四舍五入            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-01-08 19:28:22
                            
                                81阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            1.hive自身支持的math函数  Mathematical 计算数学函数abs(DOUBLE a)acos(DECIMAL|DOUBLE a)asin(DECIMAL|DOUBLE a)atan(DECIMAL|DOUBLE a)bin(BIGINT a)bround(DOUBLE a [, INT decimals]) SELECT bround(12.25, 1);12            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-04-10 12:58:16
                            
                                126阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            Hadoop中的一些事情,遇到了就记录下来。1、hive中的decimal字段对应于关系型库中的numeric,默认精度为0,若不指定小数点,数据将被四舍五入。比如0.82,在hive中会变成1,所以建表时最好指定精度,如decimal(10,2)。2、shell中拼接年月日得到的日期,默认会是int型,需要变为string得手动加''。3、sqoop导数时。--input-null-string            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-05-22 10:02:45
                            
                                1060阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            一、hive中的内置函数根据应用归类整体可以分为8大种类型。1、 String Functions 字符串函数 主要针对字符串数据类型进行操作,比如下面这些:字符串长度函数:length•字符串反转函数:reverse•字符串连接函数:concat•带分隔符字符串连接函数:concat_ws•字符串截取函数:substr,substring•字符串转大写函数:upper,ucase•字符串转小写函            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-18 16:07:43
                            
                                82阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
             1.字符串函数    (1)字符串长度函数:length    语法: length(string A)      返回值: int      说明:返回字符串A的长度      举例:  &nbs            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-12-11 18:09:35
                            
                                105阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            前言在进行数仓搭建和数据分析时最常用的就是 sql,其语法简洁明了,易于理解,目前大数据领域的几大主流框架全部都支持sql语法,包括 hive,spark,flink等,所以sql在大数据领域有着不可替代的作用,需要我们重点掌握。在使用sql时如果不熟悉或不仔细,那么在进行查询分析时极容易出错,接下来我们就来看下几个容易出错的sql语句及使用注意事项。正文开始1. decimalhive 除了支持            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-03-10 23:22:20
                            
                                1403阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            # Decimal Hive: Exploring the World of Decimal Numbers
不过这个设置将需要更多的内存。2. 无需MapReduce也就是所谓的本地模式。Hive可以简单的读取employees对应目录下的文件。例如: select * from e            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-17 22:24:21
                            
                                239阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            一、需求场景众所周知impala和hive是共用一天元数据。因为前期设计impala外部表的时候考虑不足,某些字段设置成int类型,但是随着业务增长数值已经超过了int的最大值,不能满足业务需求,所以要对某些int类型的字段进行修改字段类型为string。但是parquert在存储上,做了加密,二级制存储压缩,因为Impala对Parquet文件中列的顺序很敏感,所以在表的列定义与Parquet文            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-28 16:52:30
                            
                                283阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            一、问题背景 之前在做Datax数据同步时,发现源端binary、decimal等类型的数据无法写入hive字段。看了一下官网文档,DataX HdfsWriter 插件文档,是1-2年前的,当初看过部分源码其实底层hadoop是支持这些类型写入的,后来随着工作变动也忘了记录下来,借着近期datax又有人问起,勾起了回忆,索性改一下源码记录一下。很重要的一点:我们其实要知道,datax只不过是            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-12-28 13:26:44
                            
                                93阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            Decode函数使用:Oracle 的decode函数蛮有意思,是oracle独有的,国际标准SQL中并没有decode函数。语法DECODE(col|expression, search1, result1[, search2, result2,...,][, default])例子SELECT product_id,
DECODE (warehouse_id, 1, 'Southlake',            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-03 14:11:07
                            
                                110阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            # 实现Hive Decimal 默认
## 概述
在Hive中,Decimal是一种高精度的数据类型,用于存储小数。默认情况下,Hive中的Decimal数据类型使用的是BigDecimal类,但是在处理大量的Decimal数据时,使用BigDecimal会导致性能下降。因此,我们可以通过设置Hive的一些配置参数来改变Decimal的默认实现方式,从而提高性能。
本文将帮助你了解如何实现            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2023-12-22 05:25:39
                            
                                167阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            # 如何在 Hive 中实现负数Decimal类型
Hive 是一种用于数据仓库的工具,通过它你可以使用类 SQL 的语言对大数据进行查询和分析。Decimal 类型常用于存储精确值,比如货币。负数的 Decimal 类型对很多业务场景也至关重要。接下来,我们将一步一步地教你如何在 Hive 中实现和使用负数 Decimal。
## 实现流程
| 步骤 | 描述            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-09-16 03:52:02
                            
                                222阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            # Hive Decimal to String
## Introduction
In Hive, decimal values are stored as fixed-point numbers with a configurable precision and scale. However, there are cases when we need to convert these dec            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2023-09-17 05:02:57
                            
                                163阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            # Hive定义Decimal
在大数据领域,Hive是一个开源的数据仓库基础设施,它构建在Hadoop之上,提供了数据查询和分析的能力。Hive使用类似SQL的查询语言HQL,使得开发人员可以方便地在分布式环境中进行数据分析。
Hive中的数据类型有很多种,包括整型、浮点型、字符串型等。在某些场景下,我们需要处理精确的十进制数,这时候就可以使用Hive中的Decimal类型。
## Dec            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2023-09-20 04:12:36
                            
                                464阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            # Hive String to Decimal 实现指南
## 概述
在Hive中,将字符串转换为十进制数是一项常见的操作。本文将介绍在Hive中实现字符串到十进制转换的步骤和代码示例。
## 流程概览
下表展示了实现“Hive String to Decimal”的步骤概览:
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 创建一个包含字符串的Hive表 |
|            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2023-12-07 18:30:59
                            
                                70阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            ## Hive中decimal和decimal除法的实现
### 1. 概述
在Hive中,decimal是一种用于存储和处理高精度数字的数据类型。尽管Hive并不直接支持decimal和decimal之间的除法运算,但我们可以通过一系列的步骤来实现这个功能。
以下是实现“hive中decimal和decimal除法”的步骤概述:
| 步骤 | 描述 |
| --- | --- |
| 1            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2023-11-29 05:16:08
                            
                                301阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            我们先看一下这几个sql在hive中的返回值:hive中整数默认给int类型带有小数位的给double类型可以通过cast(num as decimal(n,m)) 指定数字类型int类型是最弱的类型,它和其他两个操作后会被转换double是最强的类型,和其他两个类型操作时会全部转换成dluble类型使用double运算时可能会导致精度丢失,如对精度要求较高,建议全都换成decimal类型之后再做            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-06-27 07:39:43
                            
                                349阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            适用于阿里云下的sql1、concat() --连接select concat('a','b'); --将两个字段连接起来
命令格式: 
    concat(string A, string B...)
参数说明:
●  A,B等为string类型,若输入为bigint, double, datetime类型会隐式转换为string后参与运算,其它类型报异常。
返回值: 
    string             
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-12-20 09:38:59
                            
                                125阅读