一：Hive体系结构(架构)的介绍1、Hive的概念：①Hive是为了简化用户编写MapReduce程序而生成的一种框架，使用MapReduce做过数据分析的人都知道，很多分析程序除业务逻辑不同外，程序流程基本一样。在这种情况下，就需要Hive这样的用户编程接口。Hive提供了一套类SQL的查询语言，称为QL，而在创造Hive框架的过程中之所以使用SQL实现Hive是因为大家对SQL语言非常的熟悉
转载
2023-08-18 13:42:51
22阅读
hive概述简介Facebook开源的用于解决海量结构化数据的数据分析框架基于Hadoop的数据仓库，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能
使用HQL作为查询接口使用HDFS存储用MapReduce计算（现可支持多种计算框架）本质：将HQL转化成MapReduce程序优点使用类SQL语法，使用门槛降低统一的元数据管理，可与impala/spark等共享元数据灵活、易扩展
转载
2023-08-30 19:32:03
187阅读
事务：之前了解到的是，转账(一个帐户上都加、一个帐户上进行减)行级事务(要保存一条insert\update不会出现只插入一部分的情况)实时：查询速度快，响应速度快。在企业里面，一个请求发送出去，如果不是太复杂的话，在做需求的时候，整个响应过程一般不会超过3SOLTP：一般指的是数据库OLAP:重点在于分析上，用于查询或者分析使用。没有实时要求一般是按天、周、月、年来进行数据统计。OLTP是要求实
转载
2023-08-10 12:55:50
79阅读
在大数据处理领域，Apache Hive 是一个非常流行的数据仓库基础设施，它提供了数据摘要、查询和分析能力。在 Hive 中，Snappy 压缩是一种重要的压缩格式，它不仅能减少存储空间，还能提高数据处理性能。这篇文章将深入探讨 Hive Snappy 的使用场景，以及其在大数据架构中的价值。
## 背景定位
### 适用场景分析
在处理大规模数据时，存储效率和处理速度变得尤为重要。压缩文件
基本操作先创建测试文件（/home/bxp/Documents/doc/hivetest/hive.txt）数据，内容如下（每行的两个字段之间使用”\t”分隔）：11 AA
22 BB
33 CC使用bin/hive 命令进入hive客户端shell。hive连接成功后和mysql数据库的操作基本相同。他具有一个默认的数据库default，通过show databases 命令能够查看的到。
转载
2023-07-03 19:59:45
81阅读
一、概述 Hive是基于Hadoop的分布式数据仓库，相当于在Hadoop框架上架了一层SQL，继承了标准SQL的所有语法操作，最早底层依赖的计算引擎是MapReduce引擎，在最新版本也可以通过修改参数调整计算引擎为Spark。二、应用场景1. Hive使用用于海量数据的统计查询分析，除了内置的函数外，也可以自定义函数（UDF）对数据进行离线处
转载
2023-09-08 14:41:02
348阅读
# Hive 临时表使用场景
作为一名经验丰富的开发者，我将教你如何在Hive中使用临时表。下面是整个流程的简要概述：
| 步骤 | 操作 |
| --- | --- |
| 1 | 创建临时表 |
| 2 | 加载数据到临时表 |
| 3 | 对临时表进行操作 |
| 4 | 删除临时表 |
接下来，我将详细说明每个步骤需要做的事情，并提供相应的代码示例。
## 步骤1：创建临时表
首
原创
2023-07-20 17:14:49
272阅读
一、基本的表操作 1.创建表： create table testTable(
id int,
name string,
likes array<string>,
address map<string,string>
)ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
COLLECTION I
转载
2023-08-03 14:52:27
70阅读
数据仓库软件工具，它提供了一系列的工具，帮助用户对大规模的数据进行提取、转换和加载，即通常所称的ETL(Extraction，Transformation，and Loading)操作。Hive可以直接访问存储在HDFS或者其他存储系统(如Hase)中的数据，然后将这些数据组织成表的形式，在其上执行ETL操作。 Hive定义了简单的类SQL查询语言，称为HiveSQL，它允许熟悉SQL的用户
转载
2023-07-14 12:27:35
56阅读
# Hive 压缩算法的使用场景
在大数据环境中，数据的存储和处理效率至关重要。Apache Hive 是一个用于数据仓库的框架，可以轻松地在 Hadoop 上进行数据分析。为了提高存储效率并减少 I/O 操作，我们可以使用压缩算法。本文将指导新手如何在 Hive 中实现压缩算法的使用场景。
## 整体流程
下面是实现 Hive 压缩算法的基本流程，按照步骤依次进行。
| 步骤编号 |
原创
2024-08-26 05:52:41
41阅读
# 如何实现Hive应用场景
Hive是一个基于Hadoop的数仓工具，适合大规模数据处理。它提供了一种类SQL的查询语言，方便用户进行数据分析和查询。本文将指导你如何实现一个简单的Hive应用场景，包括数据的采集、存储和分析。
## 流程概述
理解Hive应用场景的流程是关键。下面是整个流程的步骤：
| 步骤编号 | 步骤 | 描述
原创
2024-08-06 07:41:59
62阅读
前面的我都用过的，但是从kerberos认证之后，我就没使用过了。如果感觉翻译有疑问，请看源文档哈。 Beeline-一个新命令行客户端 Beeline的列子 Beeline的命令 Beeline的hive命令 Beeline命令行参数 分割符输出格式 HiveServer2的日志 JDBC 连接的urls 连接URL的格式 远程连接URL或者本地模式 当HiverSe
转载
2024-03-10 22:23:23
100阅读
Apache Hive和Apache HBase是两个非常流行的分布式数据存储技术。尽管两者都是Apache软件基金会的项目，但它们被设计用于不同的用例。在本篇博客中，我们将介绍Hive和HBase的基本概念，以及它们的区别和应用场景。HiveApache Hive是一种基于Hadoop的数据仓库软件，它允许用户使用SQL来查询和管理存储在Hadoop分布式文件系统(HDFS)上的大型数据集。Hi
转载
2023-08-30 11:22:41
88阅读
为什么要有Spark SQL？ 以往在使用Hadoop时，Hive作为一个数据仓库，但在使用中，我们更多感觉Hive是一个解析引擎，而Hive的底层走的也是MapReduce，而这个MapReduce是Hadoop的，在前面我们也解释了Hadoop的MapReduce的缺点，那么此时我们是使用了Spark实现的MapReduce计算模型，
转载
2023-09-10 19:41:55
237阅读
作者述：JUC是对Java体系内现有数据结构的特性扩展，通过精细化锁控制，和对基本数据类型的特性加工用以支持并发应用场景的业务需求，并提供了并发情况下的池化解决方案。有基础的同学可以直接跳到第四节内容.一、Collections工具类在学习JUC之前我们应当了解一下Collections工具类，该类应用工厂模式及装饰者模式为已有数据结构进行加工，赋予dynamically(checked) 、em
转载
2024-06-06 10:39:47
783阅读
SparkSQL 概述一、SparkSQL 是什么二、Hive and SparkSQL三、SparkSQL 特点1、易整合2、统一的数据访问3、兼容 Hive4、标准数据连接四、DataFrame 是什么1、说明五、DataSet 是什么1、说明 SparkSQL 概述 一、SparkSQL 是什么Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Sp
转载
2023-09-02 02:09:02
97阅读
1. 背景介绍2018年B站基于Hadoop开始搭建离线计算服务，计算集群规模从最初的两百台到发展到目前近万台，从单机房发展到多机房。我们先后在生产上大规模的使用了 Hive、Spark、Presto 作为离线计算引擎，其中 Hive 和 Spark 部署在 Yarn 上，具体的架构如下，目前每天有约20w的离线批作业运行在 Spark 和 Hive 上，下面介绍下我们做了哪些工作来确保这些作业的
转载
2023-10-21 21:42:34
399阅读
导读目前大数据这个行业很火，主流的解决方案还是Hadoop这套技术，其中核心的组件就是hdfs做存储，mapreduce做计算，yarn做资源调度。但是基于Hdfs的查询由于其存储机制的限制，导致查询速度响应缓慢，无法解决一些对速度有要求的场景；传统数据库虽然查询快，但是无法支撑海量数据。因此就出现了HBase这种"数据库"。 1 背景 传统的关系型数据库数据规模有一定的限
转载
2023-09-20 06:59:53
80阅读
set tez.queue.name=ecbireport;
SET hive.exec.dynamic.partition =true;
SET hive.exec.dynamic.partition.mode=nonstrict;
SET hive.exec.max.dynamic.partitions=100000;
SET hive.exec.max.dynamic.partitions.
转载
2023-05-25 11:36:37
152阅读
Hive的视图其实是一个虚表，视图可以允许保存一个查询，并像对待表一样对这个查询进行操作，视图是一个逻辑结构，并不会存储数据。Hive中的索引只有有限的功能，Hive中没有主键和外键的概念，可以通过对一些字段建立索引来加速某些操作。Hive对外部表和视图都是可以建立索引的。若有索引表，删除一个索引将会删除这个索引表。若被索引的表被删除了，那么对应的索引和索引表也会被删除；若原始表的某个分区被删除了
转载
2023-07-20 18:40:30
122阅读
