ORC原来是作为Hive源码一部分的，先在独立出来成为Apache顶级项目，最新的Hive版本中也已经不再使用内置的ORC实现。但是在一些其他的系统，比如Presto中，依然有自己的Reader实现，但是和Apache的类似，只是代码风格和实现细节做了一些优化。我们项目打算基于最新的apache ORC源码做二次开发。ORC源码也是Maven管理的，clone下来之后，用intellij打开jav
转载
2024-03-11 09:16:22
33阅读
Hive架构： Hive基础 Hive基础 1 概念 1 概念 1.1 简介 1.1 简介 1.1.1 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表， 并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。--OLAP 1.1.1
原创
2021-07-26 17:34:37
1774阅读
1、Hive安装地址 1．Hive官网地址 http://hive.apache.org/ 2．文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3．github地址 https://github.com/apache/hive2、Hive安装...
原创
2022-05-16 09:30:21
299阅读
文章目录一、环境准备二、Hive 查询1、普通查询2、别名查询3、限定查询4、多表ype) 5 个字段，字符类型为..
原创
2022-08-12 10:39:51
572阅读
# 升级 Hive
Hive 是一个基于 Hadoop 的数据仓库工具，它提供了类似于 SQL 的查询语言 HiveQL，允许用户使用类似于 SQL 的语法来分析和处理大规模的数据。
随着技术的发展，Hive 也在不断演进，推出了新版本以提供更好的性能和功能。在本文中，我们将讨论如何升级 Hive，以及一些常用的升级技巧和注意事项。
## 1. 升级前的准备工作
在升级 Hive 之前，我
原创
2023-08-19 05:16:32
317阅读
# Hive同步Hive：数据仓库之旅
在大数据时代，Hive作为一个在Hadoop生态系统中的数据仓库工具，帮助我们对海量数据进行分析与管理。随着数据应用的不断扩展，数据同步成为了一个重要的课题。本文将介绍Hive同步Hive的过程，并提供代码示例。
## 什么是Hive同步Hive？
Hive同步Hive是指将一个Hive表中的数据同步到另一个Hive表中。这个过程可能会涉及到多个数据源
注：技术交流可以加我VX：k-loop，昵称：默读者。1，创建用户表 create table tmp_user(
uid string comment'用户ID',
name string comment'用户名'
)comment'用户表'
; 插入测试数据 insert into tmp_user(uid,name) values('A','理
转载
2024-03-11 06:22:54
63阅读
公用表表达式（CTE）是从WITH子句中指定的简单查询派生的临时结果集（会把查询的表数据放到内存中，供其他查询随时使用），该子句紧跟在SELECT或INSERT关键字之前。CTE仅在单个语句的执行范围内定义。可以在Hive SELECT，INSERT，CREATE TABLE AS SELECT 或 CREATE VIEW AS SELECT 语句中使用一个或多个CTE 。
转载
2023-05-27 15:07:25
274阅读
查询语句语法：[WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available starting with Hive0.13.0)SELECT [ALL | DISTINCT] select_expr, select_expr, ...FROM table_reference[W...
原创
2022-05-16 09:29:14
2538阅读
Hive uses log4j for logging. By default logs are not emitted to the console by the CLI. The default logging level is WARN for Hive releases prior to 0
原创
2021-08-07 18:34:07
4940阅读
Hive架构1）用户接口：命令行工具；启动方式：hive 或者 hive --service cli通过Thrift对外提供服务，默认端口是10000；启动方式：hive --service hiveserver WEBUI(浏览器访问hive)：通过浏览器访问hive，默认端口是9999；启动方式：hive --service hwi 2）元数据存储（Metastore）
转载
2023-09-02 16:12:37
242阅读
hive的调优优化的主要考虑方面:环境方面：服务器的配置、容器的配置、环境搭建具体软件配置参数：代码级别的优化优的主要原则: 20/80原则非常重要,简单的说80%的程序时间执行时间花费在20%的代码上,所以重点就先要 找到这关键的20%代码做重点优化.1.explain 和 explain extendedexplain ： 只有对hql语句的解释。explain extended：对hql语句
转载
2023-11-03 10:34:46
141阅读
Hive简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能，Hive底层是将SQL语句转换为MapReduce任务运行（类似于插件Pig\impala\Spark Sql）为什么使用HIVE直接使用 Hadoop 所面临的问题：人员学习成本太高项目周期要求
原创
2021-09-29 16:20:08
2145阅读
一. 数据仓库架构设计数据仓库的主要工作就是ETL，即是英文 Extract-Transform-Load 的缩写，用来描述数据从来源端经过装载(load)、抽取(extract)、转换(transform)至目的端的过程。数据仓库架构设计，即为公司针对自身业务场景实现的水平分层、垂直分主题的数据仓库构建过程的顶层设计。1. 数据架构架构原则：先水平分层，再垂直分主题域。数据架构分三层源数据落地区
原创
2021-10-24 17:59:00
987阅读
1. 求累计频数SELECT ioverduedays, sum(overdue_num) AS overdue_num, SUM(SUM(overdue_nRECEDING A...
原创
2022-08-04 17:30:04
232阅读
Hive概述数据仓库的概念传统数据仓库面临的挑战• （ 1）无法满足快速增长的海量数据存储需求 • （ 2）无法有效处理不同类型的数据 • （ 3） 计算和处理能力不足数据库和数据仓库的区别数据库：传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。 数据仓库：数据仓库系统的主要应用主要是OLAP（On-Line Analytical Processing），支持复杂的
转载
2024-04-16 15:22:27
42阅读
前言 公用表表达式（CTE）是从WITH子句中指定的简单查询派生的临时结果集（会把查询的表数
原创
2022-11-03 14:44:12
1070阅读
一、Hive 概述及体系架构1.Hive 是什么 (1).由Facebook开源，最初用于解决海量结构化的日志数据统计问题 (2).是一个构建在Hadoop之上的数据仓库 (3).Hive定义了一种类似于SQL查询语言：HQL（非常类似于MySQL中的SQL语句，同时做了扩展） (4).通常用于离线数据处理（采用MapReduce） (5).可以认为是一个HQL=>MapReduce的语言翻
转载
2023-07-12 09:34:55
133阅读
一、HIVE基础知识1. HIVE是什么 Hive是基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是将HQL转化成MapReduce程序，存储的基础数据在HDFS上，执行程序运行在Yarn上。2. HIVE优缺点1）优点优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高（原因：没有如数据库索引的功能，总是扫描全表数据），也因
转载
2023-09-03 16:55:49
127阅读
几种压缩方式的优缺点及应用场景1. Gzip优点： 压缩率比较高，压缩/解压速度也比较快，hadoop本身支持。缺点： 不支持分片。应用场景：当每个文件压缩之后在1个block块大小内， 可以考虑用gzip压缩格式。2. Bzip2优点： 支持分片，具有很高的压缩率，比gzip压缩率都高，Hadoop本身支持。缺点： 压缩/解压速度慢，不支持Hadoop native库。应用场景： 可
转载
2023-09-01 15:33:26
115阅读
