目录安装部署Hive基本操作将本地文件导入hive查看在hive中输入的所有历史命令Hive常见属性配置数据仓库位置配置查询后信息显示配置运行日志信息配置配置参数方式安装部署由于Hive是运行在Hadoop之上的，所以在安装Hive之前，需安装Hadoop环境。1. 把 apache-hive-1.2.1-bin.tar.gz 上传到 linux 的/opt/software 目录下2. 解压 a
问题描述公司内部查询服务将hive从1.1升级到2.3.3版本之后,通过HiveStatement.getQueryLog无法拉取到执行日志了，原来是可以拉取到类似控制台执行hive时候那样的日志，包括queryid, mapreduce个数等等信息。问题排查首先将测试环境的hiveserver2开启debug模式,远程debug端口默认是8000,这里我改成了8101,因为8000被其他服务占用
转载
2023-08-21 22:07:52
142阅读
# Hive 3 不支持 Hive 2 的参数解析
Apache Hive 是一款非常流行的数据仓库工具，用于数据的查询和分析。在 Hive 的演进中，Hive 3 引入了许多新的特性和改进，而在此过程中也废弃了部分不再支持的 Hive 2 参数。了解这些不支持的参数，对于用户在迁移或升级时至关重要。
## 不再支持的参数
在 Hive 3 版本中，有一些 Hive 2 中的参数被废弃，以下
原创
2024-09-24 03:35:29
69阅读
Hive概念Hive最适合于数据仓库应用程序，使用该应用程序进行相关静态数据分析，不需要快速响应出结果，而数据本身不会发生频繁变化。Hdfs分布式文件系统限制了hive，使其不支持记录级别的更新、插入、删除。但是支持用户通过查询生成新表或者将查询结果导入文件中。Hive的查询延迟较高，且不支持事物。Hive不支持OLTP(联机事物处理)，更接近为一个OLAP(连接分析技术)工具。大多数数据仓库应用
转载
2023-08-03 13:56:54
150阅读
报错信息为map端的orc写入堆内存溢出相关错误，错误如下：java.lang.OutOfMemoryError: Java heap space
java.lang.OutOfMemoryError: GC overhead limit exceeded现设置如下参数解决：set hive.exec.orc.default.compress.size=8192
转载
2023-09-20 04:55:20
82阅读
《Hive编程指南》笔记一1、hive不支持行级插入操作、更新操作和删除操作。hive不支持事务。2、用户还可以为数据库增加一些相关的键-值对属性信息，create database test
with dbproperties('creator'='Mark','date'='2012-01-02');
#通过下面语句查看描述信息
describe database extended test;
转载
2023-07-04 19:38:35
127阅读
1.更新，事务，索引，不支持，是全表扫描 2.创建表的字段类型和java类型是对应的。不支持日期类型，提供转换为字符串类型的函数。 3.查询语句中，不支持having，可写嵌套的select来解决；group by后只能是表的定义列名，不能像mysql那样可以为查询语句为逻辑处理结果声明的别名，但可为逻辑处理过程语句 4.内置函数查看命令（show functions;desc functio
转载
2023-09-08 20:19:35
134阅读
为什么不能使用 datax 直接读写 hive acid 事务表？1. 前言从技术发展趋势的角度来看，ACID事务表提供了多种新特性新功能，是 HIVE社区推荐的HIVE表格式，且在 CDH/CDP/TDH 等大数据平台的主流版本中均已经提供了支持。 在次背景下，目前我司大数据相关产品和项目，已经在部分场景下开始了探索使用 HIVE ACID事务表。 在此跟大家分享一个 HIVE ACID 事务表
转载
2023-08-05 19:38:53
166阅读
Hive从0.14版本开始支持事务和行级更新，但缺省是不支持的，需要一些附加的配置。要想支持行级insert、update、delete，需要配置Hive支持事务。
转载
2023-07-12 10:12:13
739阅读
安装包： apache-hive-2.1.1-bin.tar.gz 安装步骤： 1.上传 apache-hive-2.1.1-bin.tar.gz 到linux; &nb
转载
2024-06-20 07:17:36
188阅读
# Spark 不支持 INSERT OVERWRITE 解决方案
在使用 Apache Spark 进行数据处理时，尤其是在进行数据转储的情况下，我们经常会遇到一个问题：Spark 并不直接支持 `INSERT OVERWRITE` 操作。本文将为你介绍如何通过其他方法来实现类似的效果，并给出详细的步骤和代码示例。
## 整体流程
下面是实现的整体流程。我们将通过创建新表和将旧表数据插入新
原创
2024-10-02 03:30:38
70阅读
oracle/mysql操作与Hive不同时会特别标注 Hive的表连接 -等值连接 -不等值连接 -外连接 -自连接等值连接/不等值连接:就看连接是不是用=--等值连接
查询员工信息：员工号，姓名，月薪，部门名称
select e.empno,e.ename,e.sal,d.dname
from emp e,dept d
where e.deptno=d.deptno;
--不等值连接：
转载
2023-09-22 19:57:31
137阅读
## Hive 不支持实时数据处理的原因及解决方案
在大数据领域中，Hive 是一种常见的数据仓库基础架构，它通过将结构化数据映射到Hadoop 分布式文件系统 (HDFS) 上，提供了类似于 SQL 的查询语言。然而，Hive 有一个明显的局限性：不支持实时数据处理。这意味着 Hive 无法提供实时的数据查询和响应能力。在本文中，我们将探讨 Hive 不支持实时数据处理的原因，并提供一些解决方
原创
2023-10-28 04:57:41
449阅读
## Hive 不支持 cube 的实现及其解决方案
在数据分析和处理的领域，Hive 是一个广泛使用的工具，然而它并不直接支持多维数据立方体（Cube）功能。当我们希望在 Hive 中实现类似 Cube 的数据聚合查询时，需要采用其他技术手段。以下将介绍一套流程和代码示例，帮助新手理解如何在 Hive 中模拟 Cube 效果。
### 流程步骤
我们可以将实现 Hive 模拟 Cube 的
什么是高并发高并发指的是系统同时处理很多请求。高并发是一个结果导向的东西，例如，常见的高并发场景有：淘宝的双11、春运时的抢票、微博大V的热点新闻等，这些典型场景并不是陡然出世，而是随着业务发展的发展而逐渐出现。像2020年淘宝双11全球狂欢季，订单创建峰值达到了惊人的58.3万笔/秒，4年前的2016年，这个数字大概是四分之一，再往前四年，这个数据不可考，但是肯定就没这么夸张了。高并发的业务场景
# Hive 不支持主键
在大数据领域，Hive 是一个非常受欢迎的数据仓库基础设施，用于处理和查询大规模数据集。然而，与传统的关系型数据库不同，Hive 不支持主键。本文将探讨 Hive 不支持主键的原因，并提供一些替代方案。
## 为什么 Hive 不支持主键？
在关系型数据库中，主键是一列或多列的组合，用于唯一标识表中的每一行。主键的作用在于保证数据的完整性和一致性。然而，由于 Hiv
原创
2024-01-17 05:50:34
233阅读
# 如何解决Hive不支持RECURSIVE的问题
## 引言
在Hive中，不支持RECURSIVE语法，这给开发工作带来了一定的困扰。在本篇文章中，我将向你展示如何通过使用递归查询来实现Hive中不支持的RECURSIVE功能。通过本文的指导，你将能够掌握如何在Hive中执行递归查询，从而解决这个问题。
## 步骤及代码示例
### 步骤一：创建一个存储递归关系的表
首先，我们需要创建一
原创
2024-05-18 07:40:13
471阅读
# Hive 不支持OFFSET
Apache Hive是一种用于数据仓库的数据管理工具，它提供了类似于SQL的查询语言HiveQL，使用户可以在Hadoop集群上进行数据分析和查询。然而，与传统的关系型数据库不同，Hive不支持OFFSET这一关键字，这给用户在查询数据时带来了一定的困扰。
## OFFSET的作用
在传统的关系型数据库中，OFFSET关键字用于指定查询结果的偏移量，通常与
原创
2024-06-14 06:07:05
415阅读
## Hive 不支持 WITH 语句
Hive 是基于 Hadoop 的数据仓库工具，它提供了类似于 SQL 的查询语言，允许用户在大规模数据集上进行分析和查询。然而，与常见的 SQL 数据库不同，Hive 不支持使用 WITH 语句。本文将探讨 Hive 不支持 WITH 语句的原因，并给出一些替代方案。
### WITH 语句的作用
在 SQL 中，WITH 语句通常用于创建临时表，然
原创
2023-12-20 06:38:21
305阅读
## 实现 Hive 不支持 exists 的方法
### 概述
在 Hive 中，exists 是不支持的操作。然而，我们可以通过其他方式来实现相似的功能。本文将介绍如何用其他方法替代 exists 操作。
### 实现步骤
下面是实现的步骤，我们将用表格展示每个步骤。
| 步骤 | 操作 | 代码 |
|----|----|----|
| 步骤一 | 创建一个临时表，用于存储需要判断是否
原创
2023-12-06 12:31:33
197阅读
