文章目录前言一、Hive的基本概念1.1 什么是Hive?1.2 Hive优缺点1.3 Hive架构1.4 Hive与传统数据库比较二、Hive 安装与使用2.1 安装部署2.2 启动并使用Hive2.3 Hive元数据配置到MySQL2.4 使用元数据服务的方式访问 Hive2.5 使用 JDBC的方式访问 Hive2.6 Hive 常用交互命令2.7 Hive 其他命令操作2.8 Hive
转载
2023-09-01 14:53:35
39阅读
文章目录第1章 Hive基本概念1.1 什么是Hive1.2 Hive的优缺点1.2.1 优点1.2.2 缺点1.3 Hive架构原理1.4 Hive和数据库比较1.4.1 查询语言1.4.2 数据更新1.4.3 执行延迟1.4.4 数据规模第2章 Hive安装2.1 Hive安装地址2.2 MySql安装2.2.1 安装包准备2.2.2 安装MySql2.2.3 配置MySql2.3 Hive
转载
2023-07-20 21:52:38
299阅读
初识Hive1.Hive提供Hive查询语音（简称HiveQL或HQL）来查询存储在Hadoop集群中的数据。2.Hive（本质）可以将大多数查询转换为MapReduce任务（job）3.Hive适用于数据仓库应用程序，使该应用程序进行相关的静态数据分析，可以维护海量数据，并对数据进行挖掘，形成意见和报告，不需要快速响应给出结果，数据本身也不会频繁变化。4.Hive的使用受限于Hadoop及HDF
转载
2023-08-20 22:24:26
122阅读
Hive编程指南整理部分基础概念 文章目录Hive编程指南整理部分基础概念部分笔记Hive服务Hive中的变量和属性命名空间Hive CLIHive查看操作命令历史在Hive中使用Hadoop的dfs命令Amazon S3 部分笔记MapReduce任务的启动过程需要消耗较长的时间，所以Hive的查询延迟比较严重。Hive不支持OLTP（联机事务处理）所需的关键功能，而更接近成为一个OLAP（联机
转载
2023-07-20 20:28:33
93阅读
第一部分：产生背景 产生背景
•为了满足客户个性化的需求，Hive被设计成一个很开放的系统，很多内容都支持用户定制，包括：
•文件格式：Text File，Sequence File
•内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text
•用户提供的
转载
2024-08-16 19:15:38
50阅读
本节书摘来异步社区《Hive编程指南》一书中的第1章，第1.1节，作者： 【美】Edward Capriolo , Dean Wampler , Jason Rutherglen 译者： 曹坤1.1 Hadoop和MapReduce综述如果用户已经熟悉Hadoop和MapReduce计算模型的话，那么可以跳过本节。虽然用户无需精通MapReduce就可以使用Hive，但是理解MapReduce的基
转载
2024-01-25 14:41:42
58阅读
第一章 基础知识HiveHive不是一个完整的数据库。Hadoop以及HDFS的设计本身约束和局限性地限制了Hive所能胜任的工作。其中最大的限制就是Hive不支持记录级别的更新、插入或者删除操作。同时，因为Hadoop是一个面向批处理的系统，而MapReduce任务(job)的启动过程需要消耗较长的时间，所以Hive延时比较严重。Hive不支持事务。Hive是最适合数据仓库应用程序的。 MapR
转载
2023-10-15 07:07:55
84阅读
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开
转载
2023-09-26 19:22:57
96阅读
本文整体分为两部分，第一部分是简写，如果能看懂会用，就直接从此部分查，方便快捷，如果不是很理解此SQL的用法，则查看第二部分，是详细说明，当然第二部分语句也会更全一些！第一部分：hive模糊搜索表：show tables like '*name*';查看表结构信息：desc table_name;查看分区信息：show partitions table_name;加载本地文件：load data
Chapter5 HiveQL：数据操作5.1 向管理表中装载数据使用第四章的employees表：[root@master chapter5]# cat 4.create_employees.sql
create table employees (
name string,
salary float,
subordinates
转载
2023-08-20 22:24:08
51阅读
读hive编程指南《Programming Hive》中文版随手记录，红色部分代表本人认为翻译错误，或者原书撰写时不支持，现在支持的功能。
3章
传统DB：通常会提供限制最大长度的“字符数组”，定长的记录更容易进行建立索引、数据扫描
hive：不
转载
2023-10-13 22:13:49
61阅读
## 了解Hive代码编程
Apache Hive 是一个建立在 Hadoop 之上的数据仓库工具，它提供了类似于 SQL 的查询语言来分析大规模的数据。Hive 代码编程是一种使用 Hive 查询语言（HQL）来处理和分析数据的方法。在本文中，我们将介绍如何使用 Hive 代码编程来操作数据，并展示一些示例代码。
### Hive 代码示例
首先，让我们看一个简单的 Hive 查询示例，假
原创
2024-02-27 05:34:28
48阅读
Hive调优前言1.数据的压缩与存储格式2.合理利用分区分桶3.hive参数优化4.sql优化4.1 where条件优化4.2 union优化4.3 count distinct优化4.4 用in 来代替join4.5 优化子查询4.6 join 优化5.数据倾斜5.1 sql本身导致的倾斜5.2 业务数据本身的特性(存在热点key)5.3 开启数据倾斜时负载均衡5.4 控制空值分布6.合并小文件
1. 当对3个或更多的表进行join连接时，若是on子句都是使用相同的连接键的话，那么只会产生一个mapreduce任务。2. 用户在进行多表查询时，需要保证连续查询的表的大小从左至右是依次增大的。因为Hive假定查询中最后一个表是最大的表，在对每行记录进行连接操作时，它会尝试将其他表缓存起来，然后扫描最后那个大表进行计算。3. map-side join：使用Broadcast实现map侧jo
转载
2023-09-21 11:34:21
66阅读
1、基础知识2、基础操作$HOME/.hiverc历史命令在$HOME/.hivehistory在hive CLI 中执行hadoop的dfs命令，只要将hadoop去掉，结尾加分号3、数据类型和文件格式4、HiveQL：数据定义内部表、外部表、管理表、分区表5、HiveQL：数据操作导入数据：insert intoinsert overwritecreate table as select6、H
转载
2023-09-08 19:04:27
96阅读
第四章： HQl的数据定义
1：创建数据库
create database financials;
create database if not exists financials;
2: 查看数据库
show databases;
模糊查询数据库
转载
2023-10-05 19:56:33
73阅读
设置查询时显示字段名称
hive> set hive.cli.print.header=true;
设置cli模式下显示当前所在的数据库名称
hive> set hive.cli.print.current.db=true;
设置hive的安全措施为"strict(严格)"模式(如果对分区表查询的WHERE子句中没有加分区过滤的话，将禁止提交这个任务)
hive> set h
转载
2023-06-12 21:13:37
132阅读
第三章：数据类型3.1 hive的基本数据类型，是对java数据类型的实现，在hive中，如果是float和double数据类型比较，hive会隐式把float转换成double，即向上取3.2 集合数据类型，struct、map、array三种集合数据类型 struct:与c语音的struct或者"对象，{"col1"
转载
2023-09-21 11:34:19
51阅读
一、Hive中“一次使用的命令”1. -S表示静默模式，结果去掉OK和Time taken等行hive -e "select * from movie_table limit 3"
...
OK
movieId title genres
1 Toy Story (1995) Adventure|Animation|Children|Comedy|Fantasy
2
转载
2023-08-11 16:45:26
85阅读
# Hive 编程指南
在大数据领域，Hive 是一个重要的工具，它以 SQL 类似的语法来处理存储在 Hadoop 上的数据。在本指南中，我们将引导一位新手如何实现 Hive 编程的基本流程。
## 一、实现流程概述
在开始之前，让我们先概览实现 Hive 编程的步骤。以下是一个简单的流程表格：
| 步骤 | 描述 |
原创
2024-10-22 05:14:59
40阅读
