Hive架构1)用户接口:命令行工具;启动方式:hive 或者 hive --service cli通过Thrift对外提供服务,默认端口是10000;启动方式:hive --service hiveserver WEBUI(浏览器访问hive):通过浏览器访问hive,默认端口是9999;启动方式:hive --service hwi 2)元数据存储(Metastore)
转载
2023-09-02 16:12:37
182阅读
# 科普文章:Hive Default
## 引言
Hive是一个开源的数据仓库工具,用于在大规模数据集上执行数据汇总、查询和分析。Hive基于Hadoop的分布式计算框架,并提供了类似于SQL的查询语言,称为HiveQL。在Hive中,有一些默认设置,被称为Hive默认设置(Hive Default)。本文将介绍Hive默认设置的概念,以及如何使用和修改Hive默认设置。
## Hive默
文章目录一 自定义函数1 UDF函数二 压缩和存储1 开启Map输出阶段压缩2 开启Reduce输出阶段压缩3 比较各种文件存储格式(1)ORC格式(2)Parquet格式(3)主流文件存储格式对比4 比较各种文件压缩格式(1)创建一个非压缩的的ORC存储方式(2)创建一个SNAPPY压缩的ORC存储方式(3)创建一个SNAPPY压缩的parquet格式 一 自定义函数Hive的内置函数不可能覆
文章目录Hive常见属性配置1、Hive数据仓库位置配置2、查询后信息显示配置3、Hive运行日志信息配置4 、参数配置方式 Hive常见属性配置1、Hive数据仓库位置配置Default数据仓库的最原始位置是在hdfs上的:/user/hive/warehouse路径下。在仓库目录下,没有对默认的数据库default创建文件夹。如果某张表属于default数据库,直接在数据仓库目录下创建一个文
转载
2023-07-12 21:32:09
192阅读
# Hive Function Default
Apache Hive is a data warehouse infrastructure built on top of Hadoop for providing data summarization, querying, and analysis. Hive enables users to write SQL-like queries ca
# Hive函数default:数据填充的艺术
在数据分析和处理中,经常会遇到数据缺失的情况。Hive作为大数据计算平台,提供了丰富的函数来处理这类问题。其中,`default`函数是一个简单而强大的工具,它可以帮助我们在查询中填充缺失的数据。
## 什么是`default`函数?
`default`函数是Hive中用于指定默认值的函数。当你查询的数据中存在NULL值时,可以使用`defau
文章目录Hive常见属性配置1. Hive数据仓库位置配置2. 查询后信息显示配置3. Hive 运行日志信息配置4. 参数的配置三种方式4.1 配置文件方式4.2 命令行参数方式4.3 参数声明方式5. HiveJDBC 访问(了解)6.Hive 常用交互命令☆ Hive常见属性配置1. Hive数据仓库位置配置Default 数据仓库的最原始位置是在 hdfs 上的/user/hive/wa
本文目录如下:第8章 函数8.1 系统内置函数8.2 常用内置函数8.2.1 空字段赋值8.2.2 CASE WHEN THEN ELSE END8.2.3 行转列8.2.4 列转行8.2.5 窗口函数(开窗函数)8.2.6 Rank8.2.7 其他常用函数8.3 自定义函数8.4 自定义 UDF 函数8.5 自定义 UDTF 函数 第8章 函数8.1 系统内置函数(1) 查看系统自带的函数hi
DDL,Hive Data Definition Language,数据定义语言;通俗理解就是数据库与库表相关的操作,本文总结一下基本方法 hive 数据仓库配置hive 数据仓库默认位置在 hdfs 上的 /user/hive/warehouse 路径下;hive 有个默认的数据库叫 default;但是在 /user/hive/warehouse 路径下没有创建 defau
转载
2023-07-14 23:22:52
128阅读
本文的安装版本为Hive 3.1.2,且安装为单节点。1. 安装参考及注意事项 官网:http://hive.apache.org/2. 常见属性配置(1) Hive数据仓库位置1) default数据仓库原始位置在hdfs上,默认路径为/user/hive/warehouse2) 在仓库目录下,没有对默认的数据库default创建文件夹。如果某张表属于default数据库,直接在数
转载
2023-07-13 01:07:06
60阅读
# 合理利用 Hive 的默认分区:_hive_default_partition_
在大数据处理的过程中,Apache Hive 是一个广泛使用的数据仓库工具。它允许用户使用类 SQL 的查询语言来处理存储在 Hadoop 中的数据。使用 Hive 的时候,分区是一个重要的概念,它可以提高查询效率。但在某些情况下,我们可能会遇到一个特殊的分区——默认为 `_hive_default_parti
1.1 系统内置函数1.查看系统自带的函数hive (default)> show functions;2.显示自带的函数的用法hive (default)> desc function upper;3.详细显示自带的函数的用法hive (default)> desc function extended upper;1.2 自定义函数1)Hive 自带了一些函数,比如:max/m
转载
2023-08-08 08:43:22
90阅读
# __HIVE_DEFAULT_PARTITION__:Hive中的默认分区
## 简述
在Hive中,分区是一种将数据按照特定的字段值进行分类和组织的技术。分区可以提高查询效率,并且方便对大量数据进行管理。在Hive中,有一个特殊的分区值称为"__HIVE_DEFAULT_PARTITION__",它用来表示没有被明确指定的分区。
## 什么是分区
在讨论"__HIVE_DEFAULT_P
原创
2023-08-21 08:44:46
559阅读
Hive数据仓库位置配置Default数据仓库的最原始位置是在hdfs上的:/user/hive/warehouse路径下在仓库目录下,没有对默认的数据库default创建文件夹。如果某张表属于default数据库,直接在数据仓库目录下创建一个文件夹。修改default数据仓库原始位置(将hive-default.xml.template如下配置信息拷贝到hive-site.xml文件中)。<
转载
2023-08-18 23:26:40
61阅读
今天,继续学习了Hive。首先,先是复习了之前学过的内容,然后学习了DML数据导入导出、Centos7.5安装Mysql5.6.49-yum方式、强制删除hive的数据库、yum.conf、基本查询、where查询、分组查询、Join查询、排序查询实操、排序查询原理、排序原理-再解说、分桶实操、分桶xy参数讲解。 总结一下: 1.Hive常见属性配置 1、Hive数据仓库位置配置 (1)Defau
1.背景1、在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念。2、分区表指的是在创建表时指定的partition的分区空间。3、如果需要创建有分区的表,需要在create表的时候调用可选参数partitioned by,详见表创建的语法结构。2.细节1.一个表可以拥有一个或者多个分区,每个
1.建表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
建库hive中有一个默认的库:库名: default库目录:hdfs://hdp20-01:9000/user/hive/warehouse 新建库:create database db_order;库建好后,在hdfs中会生成一个库目录:hdfs://hdp20-01:9000/user/hive/warehouse/db_order.db建表use db_order;create t
转载
2023-07-12 23:24:27
101阅读
show partitions 'table',有时会出现下面情况:是因为hive中分区字段有NULL值,当hive中分区字段有NULL值时
原创
2022-01-07 17:31:35
297阅读
概述用户自定义函数(UDF)是一个允许用户扩展HiveQL的强大的功能。用户可以使用Java编写自己的UDF,一旦将用户自定义函数加入到用户会话中(交互式的或者通过脚本执行的),它们就将和内置的函数一样使用,甚至可以提供联机帮助。Hive具有多种类型的用户自定义函数,每一种都会针对输入数据执行特定“一类”的转换过程。在ETL处理中,一个处理过程可能包含多个处理步骤。Hive语言具有多种方式来将上一