第一部分：产生背景 产生背景
•为了满足客户个性化的需求，Hive被设计成一个很开放的系统，很多内容都支持用户定制，包括：
•文件格式：Text File，Sequence File
•内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text
•用户提供的
转载
2024-08-16 19:15:38
50阅读
本节书摘来异步社区《Hive编程指南》一书中的第1章，第1.1节，作者： 【美】Edward Capriolo , Dean Wampler , Jason Rutherglen 译者： 曹坤1.1 Hadoop和MapReduce综述如果用户已经熟悉Hadoop和MapReduce计算模型的话，那么可以跳过本节。虽然用户无需精通MapReduce就可以使用Hive，但是理解MapReduce的基
转载
2024-01-25 14:41:42
58阅读
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开
转载
2023-09-26 19:22:57
96阅读
本文整体分为两部分，第一部分是简写，如果能看懂会用，就直接从此部分查，方便快捷，如果不是很理解此SQL的用法，则查看第二部分，是详细说明，当然第二部分语句也会更全一些！第一部分：hive模糊搜索表：show tables like '*name*';查看表结构信息：desc table_name;查看分区信息：show partitions table_name;加载本地文件：load data
Chapter5 HiveQL：数据操作5.1 向管理表中装载数据使用第四章的employees表：[root@master chapter5]# cat 4.create_employees.sql
create table employees (
name string,
salary float,
subordinates
转载
2023-08-20 22:24:08
51阅读
第三章：数据类型3.1 hive的基本数据类型，是对java数据类型的实现，在hive中，如果是float和double数据类型比较，hive会隐式把float转换成double，即向上取3.2 集合数据类型，struct、map、array三种集合数据类型 struct:与c语音的struct或者"对象，{"col1"
转载
2023-09-21 11:34:19
51阅读
一、Hive中“一次使用的命令”1. -S表示静默模式，结果去掉OK和Time taken等行hive -e "select * from movie_table limit 3"
...
OK
movieId title genres
1 Toy Story (1995) Adventure|Animation|Children|Comedy|Fantasy
2
转载
2023-08-11 16:45:26
85阅读
Hive编程指南整理部分基础概念 文章目录Hive编程指南整理部分基础概念部分笔记Hive服务Hive中的变量和属性命名空间Hive CLIHive查看操作命令历史在Hive中使用Hadoop的dfs命令Amazon S3 部分笔记MapReduce任务的启动过程需要消耗较长的时间，所以Hive的查询延迟比较严重。Hive不支持OLTP（联机事务处理）所需的关键功能，而更接近成为一个OLAP（联机
转载
2023-07-20 20:28:33
93阅读
1. 当对3个或更多的表进行join连接时，若是on子句都是使用相同的连接键的话，那么只会产生一个mapreduce任务。2. 用户在进行多表查询时，需要保证连续查询的表的大小从左至右是依次增大的。因为Hive假定查询中最后一个表是最大的表，在对每行记录进行连接操作时，它会尝试将其他表缓存起来，然后扫描最后那个大表进行计算。3. map-side join：使用Broadcast实现map侧jo
转载
2023-09-21 11:34:21
66阅读
# Hive 编程指南
在大数据领域，Hive 是一个重要的工具，它以 SQL 类似的语法来处理存储在 Hadoop 上的数据。在本指南中，我们将引导一位新手如何实现 Hive 编程的基本流程。
## 一、实现流程概述
在开始之前，让我们先概览实现 Hive 编程的步骤。以下是一个简单的流程表格：
| 步骤 | 描述 |
原创
2024-10-22 05:14:59
40阅读
# Hive 编程指南：实现大数据处理的利器
随着大数据技术的迅猛发展，Hive作为一种基于Hadoop的高层抽象数据仓库工具，越来越受到数据分析师们的青睐。Hive提供了类SQL的查询语言——HiveQL，使得用户能够轻松查询和分析海量数据。本文将介绍Hive的基本概念、使用方法及一些代码示例，帮助您更好地理解和使用Hive。
## 什么是Hive？
Hive是一个数据仓库工具，构建在Ha
# Hive 编程指南科普文章
Apache Hive 是一个数据仓库软件，它提供了一个方便的方式来查询和管理存储在 Hadoop HDFS 中的大规模数据集。它使用类 SQL 的查询语言 HiveQL，使得数据分析和查询更加高效与易用。本文将介绍 Hive 的基本概念，部分常用功能，以及如何创建、查询和可视化数据。
## Hive 的基本概念
Hive 将数据存储在分布式文件系统（如 HD
基础操作部分 文章目录基础操作部分1.Hive安装1.1 测试Hadoop1.2 启动Hive2.数据类型和文件格式2.1 基本数据类型2.2 集合数据类型2.3文本文件数据编码2.4读时模式 1.Hive安装在学习中,不应该反复的困在安装软件中,应该更多的把精力放在应用和原理方面.这里省略了安装的整理. (实验环境使用打包好的大数据软件环境,Hive使用本地模式.)note:hive使用本地模式
转载
2023-10-11 09:08:18
20阅读
1、基础知识2、基础操作$HOME/.hiverc历史命令在$HOME/.hivehistory在hive CLI 中执行hadoop的dfs命令，只要将hadoop去掉，结尾加分号3、数据类型和文件格式4、HiveQL：数据定义内部表、外部表、管理表、分区表5、HiveQL：数据操作导入数据：insert intoinsert overwritecreate table as select6、H
转载
2023-09-08 19:04:27
96阅读
第四章： HQl的数据定义
1：创建数据库
create database financials;
create database if not exists financials;
2: 查看数据库
show databases;
模糊查询数据库
转载
2023-10-05 19:56:33
73阅读
0512与sql区别hive不支持in，需要左半开连接。 LEFT SEMI JOIN 左边的一条记录，一旦在右边找到匹配的记录，就停了下来。左边的一条记录，一旦在右边找到匹配的记录，就停了下来。严格模式限制1.不能使用笛卡尔积join 2.ORDER BY操作必须要有LIMIT语句进行限制记录ORDER BY(使用一个reducer,耗时很慢) SORT BY：部分有序，可以提高全局排序的效率0
转载
2023-08-11 16:45:06
171阅读
作者： 【美】Edward Capriolo , Dean Wampler , Jason Rutherglen 第1章 基础知识Hive编程指南从早期的互联网主流大爆发开始，主要的搜索引擎公司和电子商务公司就一直在和不断增长的数据进行较量。最近，社交网站也遇到了同样的问题。如今，许多组织已经意识到他们所收集的数据是让他们了解他们的用户，提高业务在市场上的表现以及提高基础架构效率的一个宝
转载
2023-07-13 20:50:43
39阅读
第一章 基础知识HiveHive不是一个完整的数据库。Hadoop以及HDFS的设计本身约束和局限性地限制了Hive所能胜任的工作。其中最大的限制就是Hive不支持记录级别的更新、插入或者删除操作。同时，因为Hadoop是一个面向批处理的系统，而MapReduce任务(job)的启动过程需要消耗较长的时间，所以Hive延时比较严重。Hive不支持事务。Hive是最适合数据仓库应用程序的。 MapR
转载
2023-10-15 07:07:55
84阅读
读hive编程指南《Programming Hive》中文版随手记录，红色部分代表本人认为翻译错误，或者原书撰写时不支持，现在支持的功能。
3章
传统DB：通常会提供限制最大长度的“字符数组”，定长的记录更容易进行建立索引、数据扫描
hive：不
转载
2023-10-13 22:13:49
61阅读
注：《hive实战practicalhiveaguidetohadoop'sdatawarehousesystem》以下简称hive实战也有一些被加入到其中第二章基础操作2.7命令行界面（千万注意那些是在命令行输入的命令，那些是在hive界面输入的，后面备注命令行输入就是命令行输入其他是hive里执行的）2.7.1CLI选项hive--help--servicecli命令行输入2.7.2变
原创
2020-11-17 22:29:32
1153阅读
