Hive架构1）用户接口：命令行工具；启动方式：hive 或者 hive --service cli通过Thrift对外提供服务，默认端口是10000；启动方式：hive --service hiveserver WEBUI(浏览器访问hive)：通过浏览器访问hive，默认端口是9999；启动方式：hive --service hwi 2）元数据存储（Metastore）
转载
2023-09-02 16:12:37
182阅读
# 科普文章：Hive Default
## 引言
Hive是一个开源的数据仓库工具，用于在大规模数据集上执行数据汇总、查询和分析。Hive基于Hadoop的分布式计算框架，并提供了类似于SQL的查询语言，称为HiveQL。在Hive中，有一些默认设置，被称为Hive默认设置（Hive Default）。本文将介绍Hive默认设置的概念，以及如何使用和修改Hive默认设置。
## Hive默
文章目录一 自定义函数1 UDF函数二 压缩和存储1 开启Map输出阶段压缩2 开启Reduce输出阶段压缩3 比较各种文件存储格式（1）ORC格式（2）Parquet格式（3）主流文件存储格式对比4 比较各种文件压缩格式（1）创建一个非压缩的的ORC存储方式（2）创建一个SNAPPY压缩的ORC存储方式（3）创建一个SNAPPY压缩的parquet格式 一 自定义函数Hive的内置函数不可能覆
文章目录Hive常见属性配置1、Hive数据仓库位置配置2、查询后信息显示配置3、Hive运行日志信息配置4 、参数配置方式 Hive常见属性配置1、Hive数据仓库位置配置Default数据仓库的最原始位置是在hdfs上的：/user/hive/warehouse路径下。在仓库目录下，没有对默认的数据库default创建文件夹。如果某张表属于default数据库，直接在数据仓库目录下创建一个文
转载
2023-07-12 21:32:09
192阅读
# Hive Function Default
Apache Hive is a data warehouse infrastructure built on top of Hadoop for providing data summarization, querying, and analysis. Hive enables users to write SQL-like queries ca
# Hive函数default：数据填充的艺术
在数据分析和处理中，经常会遇到数据缺失的情况。Hive作为大数据计算平台，提供了丰富的函数来处理这类问题。其中，`default`函数是一个简单而强大的工具，它可以帮助我们在查询中填充缺失的数据。
## 什么是`default`函数？
`default`函数是Hive中用于指定默认值的函数。当你查询的数据中存在NULL值时，可以使用`defau
文章目录Hive常见属性配置1. Hive数据仓库位置配置2. 查询后信息显示配置3. Hive 运行日志信息配置4. 参数的配置三种方式4.1 配置文件方式4.2 命令行参数方式4.3 参数声明方式5. HiveJDBC 访问（了解）6.Hive 常用交互命令☆ Hive常见属性配置1. Hive数据仓库位置配置Default 数据仓库的最原始位置是在 hdfs 上的/user/hive/wa
本文目录如下：第8章 函数8.1 系统内置函数8.2 常用内置函数8.2.1 空字段赋值8.2.2 CASE WHEN THEN ELSE END8.2.3 行转列8.2.4 列转行8.2.5 窗口函数（开窗函数）8.2.6 Rank8.2.7 其他常用函数8.3 自定义函数8.4 自定义 UDF 函数8.5 自定义 UDTF 函数 第8章 函数8.1 系统内置函数(1) 查看系统自带的函数hi
DDL，Hive Data Definition Language，数据定义语言；通俗理解就是数据库与库表相关的操作，本文总结一下基本方法 hive 数据仓库配置hive 数据仓库默认位置在 hdfs 上的 /user/hive/warehouse 路径下；hive 有个默认的数据库叫 default；但是在 /user/hive/warehouse 路径下没有创建 defau
转载
2023-07-14 23:22:52
128阅读
本文的安装版本为Hive 3.1.2，且安装为单节点。1. 安装参考及注意事项 官网：http://hive.apache.org/2. 常见属性配置(1) Hive数据仓库位置1) default数据仓库原始位置在hdfs上，默认路径为/user/hive/warehouse2) 在仓库目录下，没有对默认的数据库default创建文件夹。如果某张表属于default数据库，直接在数
转载
2023-07-13 01:07:06
60阅读
# 合理利用 Hive 的默认分区：_hive_default_partition_
在大数据处理的过程中，Apache Hive 是一个广泛使用的数据仓库工具。它允许用户使用类 SQL 的查询语言来处理存储在 Hadoop 中的数据。使用 Hive 的时候，分区是一个重要的概念，它可以提高查询效率。但在某些情况下，我们可能会遇到一个特殊的分区——默认为 `_hive_default_parti
1.1 系统内置函数1．查看系统自带的函数hive (default)> show functions;2．显示自带的函数的用法hive (default)> desc function upper;3．详细显示自带的函数的用法hive (default)> desc function extended upper;1.2 自定义函数1）Hive 自带了一些函数，比如：max/m
转载
2023-08-08 08:43:22
90阅读
# __HIVE_DEFAULT_PARTITION__：Hive中的默认分区
## 简述
在Hive中，分区是一种将数据按照特定的字段值进行分类和组织的技术。分区可以提高查询效率，并且方便对大量数据进行管理。在Hive中，有一个特殊的分区值称为"__HIVE_DEFAULT_PARTITION__"，它用来表示没有被明确指定的分区。
## 什么是分区
在讨论"__HIVE_DEFAULT_P
原创
2023-08-21 08:44:46
559阅读
Hive数据仓库位置配置Default数据仓库的最原始位置是在hdfs上的：/user/hive/warehouse路径下在仓库目录下，没有对默认的数据库default创建文件夹。如果某张表属于default数据库，直接在数据仓库目录下创建一个文件夹。修改default数据仓库原始位置（将hive-default.xml.template如下配置信息拷贝到hive-site.xml文件中）。<
转载
2023-08-18 23:26:40
61阅读
今天，继续学习了Hive。首先，先是复习了之前学过的内容，然后学习了DML数据导入导出、Centos7.5安装Mysql5.6.49-yum方式、强制删除hive的数据库、yum.conf、基本查询、where查询、分组查询、Join查询、排序查询实操、排序查询原理、排序原理-再解说、分桶实操、分桶xy参数讲解。 总结一下： 1.Hive常见属性配置 1、Hive数据仓库位置配置 （1）Defau
1.背景1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。2、分区表指的是在创建表时指定的partition的分区空间。3、如果需要创建有分区的表，需要在create表的时候调用可选参数partitioned by，详见表创建的语法结构。2.细节1.一个表可以拥有一个或者多个分区，每个
1．建表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
建库hive中有一个默认的库：库名： default库目录：hdfs://hdp20-01:9000/user/hive/warehouse 新建库：create database db_order;库建好后，在hdfs中会生成一个库目录：hdfs://hdp20-01:9000/user/hive/warehouse/db_order.db建表use db_order;create t
转载
2023-07-12 23:24:27
101阅读
show partitions 'table'，有时会出现下面情况：是因为hive中分区字段有NULL值，当hive中分区字段有NULL值时
原创
2022-01-07 17:31:35
297阅读
概述用户自定义函数(UDF)是一个允许用户扩展HiveQL的强大的功能。用户可以使用Java编写自己的UDF，一旦将用户自定义函数加入到用户会话中(交互式的或者通过脚本执行的)，它们就将和内置的函数一样使用，甚至可以提供联机帮助。Hive具有多种类型的用户自定义函数，每一种都会针对输入数据执行特定“一类”的转换过程。在ETL处理中，一个处理过程可能包含多个处理步骤。Hive语言具有多种方式来将上一
