问题描述源端数据oracle数据库，通过cdm迁移工具将数据迁移到目标端hive。在oracle中的NULL值迁移到hive中后有的字段表现为NULL，有的字段表现为空串“”（即两个引号中间为空）。观察发现字符型的数据字段为空串，非字符型的字段为NULL。整个链路涉及到了oracle、cdm、hive，分析问题的原因就从这三个产品着手。首先我们知道oracle中没有空串，当插入空串时写入的是NUL
转载
2023-09-01 18:21:07
332阅读
Hive与HBase整合文档1、 Hive整合HBase配置1.1 拷贝hbase 相关jar包将hbase 相关jar包拷贝到hive lib目录下hbase-client-0.98.13-hadoop2.jar
hbase-common-0.98.13-hadoop2.jar
hbase-server-0.98.13-hadoop2.ja
一、hive 中常用的函数1. 空字段赋值NVL( value，default_value)：如果value为NULL，则NVL函数返回default_value的值，否则返回value的值，如果两个参数都为NULL ，则返回NULL。2. case when then else end例如：case sex when ‘男’ then 1 else 0 end3. 行转列（1）函数说明CONCA
转载
2023-08-18 22:31:43
434阅读
一. Hive函数基础1. 聚合函数hive 支持 count(),max(),min(),sum(),avg() 等常用的聚合函数注意：
聚合操作时要注意 null 值
count(*) 包含 null 值，统计所有行数
count(id) 不包含 null 值
min 求最小值是不包含 null，除非所有值都是 null
avg 求平均值也是不包含 null
转载
2023-09-01 18:21:34
123阅读
Oracle 处理null值Nvl(expr1,expr2) -> expr1为NULL，返回expr2；不为NULL，返回expr1。注意两者的类型要一致，如果不一致会存在隐式转换，不能转换时会报错；转换规则如下： (1)如果参数1为字符型，则把参数2转换为参数1的类型，返回值为 VARCHAR2 (2)如果参数1为数值型，则判断两个参数的最高数值优先级（如双精实数比单 精实 数优先级高）
转载
2023-09-20 06:31:02
83阅读
# 如何实现Hive中的max null值
作为一名经验丰富的开发者，我将教你如何在Hive中找到最大的null值。这对于刚入行的小白可能是一个比较难以理解的概念，但是只要跟着我的步骤一步步来，相信你也能掌握这个技巧。
## 操作流程
首先，让我们来看一下整个操作的流程，我将用表格形式展示每一个步骤：
| 步骤 | 操作 |
|------|------|
| 1 | 创建一个Hive表
# 在Hive中插入NULL值
在Hive中，NULL值代表缺失或未知的数据。有时候我们需要在Hive表中插入NULL值，本文将介绍如何在Hive中插入NULL值以及如何处理包含NULL值的数据。
## 插入NULL值
在Hive中，可以使用INSERT语句插入NULL值。下面是一个示例，演示如何向表中插入NULL值：
```markdown
INSERT INTO table_name
# 如何实现“hive null值相加”
## 概述
在Hive中，如果要对包含null值的列进行相加运算，需要注意处理null值的情况。本文将教你如何实现在Hive中对null值进行相加操作。
## 详细步骤
### 1. 创建测试数据表
首先，我们需要创建一个包含null值的测试表，用于演示操作。
```markdown
```sql
CREATE TABLE test_table (
一、Hive的參数设置1. 三种设定方式：配置文件 · 用户自己定义配置文件：$HIVE_CONF_DIR/hive-site.xml · 默认配置文件：$HIVE_CONF_DIR/hive-default.xml 用户自己定义配置会覆盖默认配置。另外，Hive也会读入Hadoop的配置，由于Hive是作为Hadoop的client启动
函数查看所有自带函数show functions;查询函数怎么用desc function [extended]详细显示 函数名UDF一进一出 按行计量UDAF多进一处UDTF一进多出UDFNVL：给值为 NULL 的数据赋值，它的格式是 NVL( value，default_value)。它的功能是如 果 value 为 NULL，则 NVL 函数返回 default_value 的值，否则返回
转载
2023-07-12 20:39:28
174阅读
1. 空值类型1.1NULLhive中null实际在HDFS中默认存储为’\N’，通过查询显示的是’NULL’。这时如果查询为空值的字段可通过语句：col is null 或者 col =’\N’ 实现。此时可用hive中与null有关的函数,如nvl,coalesce,is null等判断是否为null是为true。产生NULL值，一般都是由hive外链接引起的。1.2 ‘’‘’ 表示的是字段不
转载
2023-08-30 20:14:42
213阅读
基本查询操作select [all | distinct] select 列名1，列名2，，，，列名nfrom 表名where 条件group by 列名 [having 条件]cluster by 列名 （排序）distribute by 列名 （排序）sort by 列名 order by 列名Limit 数量 mysql转换到hive sql应该注意的点:1.hive不支持 whe
一、查询语句基本语法1.1SQL查询语句的基本结构select selection_list # 查询的列
from table # 要查询的表
join on # 连接的表
where # 查询条件
group by # 分组查询
having # 分组条件过滤
order by # 字段排序
sort by # 结果排序
limit # 限制结果数
union/union all
转载
2023-07-12 21:49:35
155阅读
• (一) DDL操作
一、 新建操作
1. 建库
# 建库 ---> hive就会在/user/hive/warehouse/下建一个文件夹:DB_NAME.db
hive> create database DB_NAME;
2. 直接建表法
create [external] table [if not exists] [DB_NAME.]TA
一、空字段赋值 1、NVL（给值为 NULL 的数据赋值）格式是 NVL( string1, replace_with)。它的功能是如果string1 为 NULL，则 NVL 函数返回 replace_with 的值，否则返回 string1 的值，如果两个参数都为 NULL ，则返回 NULL。 举例：如果员工的 comm 为 NULL，则用-1 代替 selec
转载
2023-07-20 22:15:44
244阅读
Hive加载数据与数据null值处理背景：load数据文件的数据流转的雏形通常是： 业务库 -> 数据文件 -> load进hive -> ods层 这里会面临最基础的两个问题：通常我们需要一个跳板层，即将数据文件Load进stage层(text)，然后通过查询加载进ODS层(ORC)；数据文件生成时，如果直接使用命令行的形式，字段null值将被直接赋值为’NULL’字符串；RC
转载
2023-09-08 19:11:00
234阅读
一.空字段赋值
1
）函数说明
NVL：给值为NULL的数据赋值，它的格式是NVL( value，default_value)。它的功能是如果value为NULL，则NVL函数返回default_value的值，否则返回value的值，如果两个参数都为NULL ，则返回NULL。
2
）样例
select comm,nvl(c
转载
2023-09-13 10:20:42
0阅读
如今，很多公司可能会在内部使用多种数据存储和处理系统。这些不同的系统解决了对应的使用案例。除了传统的 RDBMS (比如 Oracle DB，Teradata或PostgreSQL) 之外，我们还会使用 Apache Kafka 来获取流和事件数据。使用 Apache Druid 处理实时系列数据(real-time series data)，使用 Apache Phoenix 进行快速索引查找。
文章目录Hive高级函数一、Hive函数1、JSON数据处理2、炸裂函数13、行列转换函数13.1 行转列13.2 列转行14、开窗函数14.1 基础使用14.2 控制数据范围14.3 其他开窗函数 Hive高级函数一、Hive函数1、JSON数据处理知识点:get_json_object：解析json内容
优点：能够解析嵌套的json
缺点：每次只能解析一个
记录遇到的SQL问题1、 hive sql中 '' 和 null 之间区别？2、Hive中order by、sort by、distribute by、cluster by用法3、连接查询中，on和where条件含义 1、 hive sql中 ‘’ 和 null 之间区别？概念区别 null 表示没有有任何值 ‘’ 表示没有一个空的字符串使用区别 在数据表中，如果一个字段没有值，通常默认为 nu
