## Hive如何指定落表文件个数
在Hive中，我们可以通过设置`hive.exec.reducers.max`属性来指定最大的Reduce任务数量，从而间接控制落表文件的个数。默认情况下，Hive会根据数据量自动决定Reduce任务的数量，但我们也可以手动指定。
### 1. 设置hive.exec.reducers.max属性
我们可以通过以下方式在Hive中设置`hive.exec.
原创
2024-03-26 05:46:52
303阅读
2、数据库： OLTP //online transaction process ,在线事务处理3、drop databases if exists mybase //删除数据库4、show tables //显示表5、create database mybase //mysql 创建库6、create table test(id int ,name
转载
2023-11-16 11:36:40
47阅读
一 表数据的导入和导出1 表数据的导入方式------hive 交互窗口上1.1 load本地数据load data local inpath "/root/hive/.txt或者 .log" into table tb_name; load data local inpath "/root/hive/.txt" overwrite into tabl
转载
2023-12-01 14:00:20
101阅读
Hive优化1.1 hive的随机抓取策略理论上来说，Hive中的所有sql都需要进行mapreduce，但是hive的抓取策略帮我们
省略掉了这个过程，把切片split的过程提前帮我们做了。
set hive.fetch.task.conversion=none;
(一旦进行这么设置，select字段名也是需要进行mapreduce的过程，默认是more)Fetch抓取的模式
可以通过 set
转载
2024-01-16 01:22:03
39阅读
# 如何实现hive落表文件大小控制
## 1. 整体流程
```mermaid
journey
title 整体流程
section 开始
开始 --> 创建表 --> 设定表文件大小控制 --> 完成
```
## 2. 具体步骤
```mermaid
flowchart TD
A[创建表] --> B[设定表文件大小控制]
B -->
原创
2024-06-22 06:39:25
95阅读
HDFS概述HDFS（Hadoop Distributed File System）是Apache Hadoop 项目的一个子项目。Hadoop非常实用存储大型数据，TB和PB级别的，其就是使用的HDFS作为存储系统。HDFS是分布式文件系统使用多台计算机存储文件，并提供统一的访问接口，就像访问本地普通文件系统一样。分布式文件系统解决的就是大数据存储问题。他们是横跨在多台计算机上的存储系统。分布式
转载
2024-02-23 18:00:17
47阅读
最近有一个需求，统计每天的新老用户，日活，周活，月活。 我们每天的增量数据会加入到hive历史数据表中，包含用户访问网站的一些信息，字段有很多，包括用户唯一标识guid。 当然了日活，周活，月活就是一个count(distinct(guid))语句，非常常用的sql。但是这里的问题是：
A：每天的新老用户应该怎么统计呢？
B：这还不简单，判断用户guid是否存在与历史库guid中嘛？
转载
2024-06-06 01:19:15
16阅读
# 如何实现Hive落表文件大小256MB
## 背景介绍
你好，作为一名经验丰富的开发者，我很高兴能够帮助你学习如何实现“hive 落表文件大小256MB”。在本篇文章中，我将向你介绍整个实现过程，并为你提供详细的步骤和代码示例。
## 实现流程
首先，让我们来看一下整个实现过程的流程图：
```mermaid
classDiagram
class Hive {
+
原创
2024-07-08 03:23:48
23阅读
如何实现Hive SQL数据落文件
作为一名经验丰富的开发者，我们经常需要将Hive SQL查询结果存储到文件中，以便后续分析和处理。在本文中，我将向您介绍如何实现“Hive SQL数据落文件”的方法，并教会您如何操作。首先，我们来看一下整个过程的流程：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 运行Hive SQL查询 |
| 2 | 将查询结果导出到文
原创
2024-04-07 05:48:59
42阅读
文章目录1. 第七篇最后的续接2. 结论3. 补充 1. 第七篇最后的续接注意：本篇是我根据Hive第7篇文章最后的BUG，未在数据仓库找到表目录的BUG而写的。。。 首先，再回顾以下创建外部表的两种方式：第一种是创建一个空表，然后向表中导入数据的方式create external table person1(
id int,
name string,
age int,
fav array<
转载
2023-09-20 06:05:49
129阅读
本文基于TalkingData 张学敏 在公司内部KOL的分享主题《基于Spark、NoSQL实时数据处理实践》的整理，同时也在DTCC大会上做了同主题的分享。主要介绍了项目的技术选型、技术架构，重点介绍下项目面临的挑战和解决办法，还介绍了面对多维度、多值、多版本等业务场景时，使用Bitmap与HBase特性解决问题方法。共分为上下两篇，本次发布上篇，下篇敬请关注。一、数据相关 情况项目处理的数
写在前面：1个hadoop集群 可以提供的map和reduce资源（可称为“插槽”）个数是 固定的。因此如果某个大job消耗完所有的插槽，会导致 其他job无法执行。故，有必要设置 hive.exec.reducers.max来组织某个查询消耗太多的资源。1）计算reducer个数。 hive时按照 输入的数据量大小 来确定reducer个数的。 举例：情况1:当输入表的大小可以确定时。 hive
转载
2023-07-12 21:30:29
97阅读
# Hive建表及数据导入：一个全面的指南
Apache Hive 是一个基于 Hadoop 的数据仓库工具，用于数据的查询、分析和处理。在大数据处理过程中，我们常常需要创建表并导入数据。本文将为您介绍如何在 Hive 中创建表并加载指定文件的数据，同时也会通过代码示例、关系图和类图帮助您更好地理解整个过程。
## Hive 表的基本概念
在 Hive 中，表是数据的逻辑表示，可以类比于传统
原创
2024-08-09 10:58:11
43阅读
# 如何修改 Hive 表的指定文件路径
在大数据处理的领域中，Hive是一种非常流行的数据仓库工具。如果你是一个刚入行的小白，想要学习如何修改 Hive 表的指定文件路径，本文将为你提供一个详细的指导，包括具体的步骤、所需的代码，甚至还会有可视化的流程图和序列图，以帮助你更好地理解整个过程。
## 1. 整体流程
在开始之前，我们先了解一下修改 Hive 表指定文件路径的整体流程。下表展示
原创
2024-08-05 08:41:11
169阅读
## 如何在Hive中指定HDFS文件路径
作为一名经验丰富的开发者，我将会教你如何在Hive中指定HDFS文件路径。在这篇文章中，我将会给你一个整体的流程，并且详细解释每一步需要做什么以及需要使用的代码。
### 整体流程
下面是完成任务的整体流程，我们可以用表格形式展示：
| 步骤 | 操作 |
| --- | --- |
| 1 | 创建外部表 |
| 2 | 指定HDFS文件路径
原创
2024-05-28 06:36:36
126阅读
这里写目录标题Hive SQL DDL建表语法树SerDe是什么Hive读写文件流程SerDe相关语法LazySimpleSerDe指定分隔符SERDE处理数据(如json)Hive默认分隔符指定存储路径案例使用原生数据类型使用复杂数据类型使用默认分隔符指定数据存储路径 Hive SQL DDL建表语法树“[]”中的语法可选“|”表示使用时，语法需要二选一建表语句中语法顺序要和语法树规则保持一直
转载
2023-09-22 15:05:29
367阅读
引言：把基于mapreduce的离线hiveSQL任务迁移到sparkSQL，不但能大幅缩短任务运行时间，还能节省不少计算资源。最近我们也把组内2000左右的hivesql任务迁移到了sparkSQL，这里做个简单的记录和分享，本文偏重于具体条件下的方案选择。迁移背景SQL任务运行慢Hive SQL处理任务虽然较为稳定，但是其时效性已经达瓶颈，无法再进一步提升，同一个SQL，Hive比Spark执
转载
2023-07-27 22:30:36
136阅读
1、语法概述1）建表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)
转载
2023-07-15 00:00:30
212阅读
# Hive如何查看文件个数
Hive是一个基于Hadoop的开源数据仓库工具，它提供了一个SQL接口，可以对存储在Hadoop中的大规模数据集进行查询和分析。在Hive中，可以通过一些命令和函数来查看文件的个数。本文将介绍如何使用Hive来查看文件的个数，并提供相应的代码示例。
## 方法一：使用`hadoop fs`命令
Hive底层使用的是Hadoop分布式文件系统（HDFS），可以利
原创
2023-10-16 07:04:04
451阅读
4.1 创建数据库
CREATE DATABASE [IF NOT EXISTS] database_name
[COMMENT database_comment]
[LOCATION hdfs_path]
[WITH DBPROPERTIES (property_name=property_value, …)];
1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hiv
转载
2023-08-03 15:19:39
180阅读
