1、基础知识2、基础操作$HOME/.hiverc历史命令在$HOME/.hivehistory在hive CLI 中执行hadoop的dfs命令，只要将hadoop去掉，结尾加分号3、数据类型和文件格式4、HiveQL：数据定义内部表、外部表、管理表、分区表5、HiveQL：数据操作导入数据：insert intoinsert overwritecreate table as select6、H
转载
2023-09-08 19:04:27
96阅读
Hive应用开发 了解Hive的基本架构原理 掌握JDBC客户端开发流程 了解ODBC客户端的开发流程 了解python客户端的开发流程 了解Hcatalog/webHcat开发接口 掌握Hive开发规则 1. 了解Hive的基本架构原理 守护进程： HiveServer（Thrift/Compil
转载
2019-07-26 17:06:00
145阅读
2评论
一. 数据仓库架构设计数据仓库的主要工作就是ETL，即是英文 Extract-Transform-Load 的缩写，用来描述数据从来源端经过装载(load)、抽取(extract)、转换(transform)至目的端的过程。数据仓库架构设计，即为公司针对自身业务场景实现的水平分层、垂直分主题的数据仓库构建过程的顶层设计。1. 数据架构架构原则：先水平分层，再垂直分主题域。数据架构分三层源数据落地区
原创
2021-10-24 17:59:00
987阅读
1、正确建表，导入数据（三张表，三份数据），并验证是否正确 （1）分析需求 需要创建一个数据库movie，在movie数据库中创建3张表，t_user，t_movie，t_rating t_user:userid bigint,sex string,age int,occupation string,zipcode string t_movie:movieid bigint,moviename s
转载
2023-07-20 19:58:44
1396阅读
点赞
1评论
基本数据类型... 3查看所有函数... 3搜索函数... 3搜索表... 4查看函数使用方法... 4关键字补全... 4显示表头... 4SET环境变量... 5查看建表语句、数据文件置... 5执行外部命令... 6NVL. 6CONCAT. 7IF. 7CASE. 8TRIM.. 9SUBSTRING.. 10LENGTH.. 11UPPER. 11非空判断... 11LPAD
转载
2023-07-04 21:46:34
84阅读
目录什么是 Hive?Hive 本质Hive 架构原理Hive安装部署（重要）安装 Hive启动并使用 Hive安装MySQL配置 Hive 元数据存储到 MySQLDDL（Data Definition Language）数据定义创建数据库查询数据库展示所有数据库查看数据库信息修改数据库删除数据库切换当前数据库表（table）创建表普通建表Create Table As Select（CTAS
转载
2023-10-09 10:46:16
107阅读
1、hive简介hive是基于Hadoop的一个数据仓库工具，用于分析数据的。可以将结构化数据文件映射为一张数据库表，并提供类SQL查询功能注：hive-SQL or HQL or类SQL 和标准SQL还是有一点点区别的本质是SQL转换为MapReduce程序 用途：用来做离线数据分析，比直接用MapReduce开发效率更高为什么说hive是基于Hadoop的呢？ 作为数据仓库软件，应该要具备存储
转载
2023-08-12 18:18:05
144阅读
引语大数据开发之路漫漫其修远兮，吾将上下而求索。很多入门大数据的小伙伴，可能第一个接触到的，就是一只可爱的“小象”，也就是我们的大数据领域的数据仓库工具hive。这只小象给我们提供了方便类SQL查询语言HQL来操纵数据，使得我们一开始不用编写复杂的代码，就可以轻松的探索数据。Hive对于熟悉传统数据库的同学来说，算是很友好的一个入门工具。 原理在大数据生态中，hive一般作为数据仓库来使
转载
2023-08-02 13:43:49
66阅读
了解Facebook 大数据量处理和数据仓库的历史非常有助于理解Hadoop 、Hive 和数据仓库的发展轨迹：1.出现背景实际上如传统的非互联网公司一样， Facebook 的数据仓库一开始是构建于MySQL （目前最为流行的开源关系型数据库系统，商用的则是甲骨文的Oracle 、微软的SQL Server 以及IBM 的DB2 等）之上的，但是随着数据量的增加， Facebook 的数据开发和
转载
2023-12-21 09:00:59
115阅读
Hive是什么 1）Hive 是建立在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库；2）一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制；3）Hive 定义了简单的类SQL 查询语言，称为HQL，它允许熟悉SQL 的用户查询数据；4）允许用Java开发自定义的函数UDF来处理内置无法完成的复杂的分析工作；5）Hive没有专门的数据格式（分隔
转载
2024-03-10 22:58:29
56阅读
1.了解啥是hive 问题 : 啥是hive?Hive是一个基于Hadoop的开源 数据仓库工具，用于 存储 和 处理 海量结构化数据。 Hive 使用 HDFS 作为数据存储介质 使用MapReduce 作为数据计算引擎 Hive 是 Facebook 2008年8月开源的一个数据仓库框架，提供了类似于SQL语法的 HQL（hiveSQL）语句作为数据访问接口。问题 : hive能做什么呢? 利
转载
2023-07-12 13:04:16
41阅读
大数据开发-hive（入门篇）一、环境准备安装好对应版本的hadoop集群安装mysql服务二、知识要点1. Hive是什么1.1 hive的概念Hive：由Facebook开源，用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将Hive SQL转化成MapReduce程序1.2 Hive与数据库的
转载
2023-09-15 09:10:07
46阅读
HIVE是什么
来自度娘百科的解释：hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
转载
2023-09-15 21:56:59
62阅读
1.1、Hive简介什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更进一步可以说hive就是一个MapReduce的客户端为什么使用Hive直接使用had
转载
2023-09-13 14:40:40
60阅读
一、Hive概述 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据表，并提供类似于SQL(HiveSQL)的操作功能。在Hive中，本质上是将SQL转换成为MapReduce程序。二、1、建表语句CREATE TABLE `app.app_test`(
`data_dt` string COMMENT '时
转载
2023-08-19 00:04:03
98阅读
一.hive基础1.hive作用将结构化数据文件映射成一张表 提供类似于sql的查询功能 HQL 存储在hdfs上2.hive的内置数据库一般用mysql为什么不用默认的内置数据库？默认内置derby弊端，一台机器只支持一个客户端 比如你用xshell连接服务器之后通过bin/hive启动了hive，不关； 然后你再打开一个xshell,还去执行bin/hive命令，就会报错，因为被锁住了3.hi
转载
2024-10-08 21:01:13
25阅读
# 工业应用 Hive 实现指南
Hive 是一个用于数据仓库的开源软件，提供了数据摘要、查询和分析的框架。本文将带你逐步了解如何在工业应用中实现 Hive。这对处理大规模数据尤其重要。我们将通过表格展现步骤，并对每一步进行详细讲解，包括代码示例和注释。
## 实现流程
以下是实现 Hive 的基本步骤：
| 步骤 | 描述
# 实现Hive Lead应用的步骤和代码解释
## 介绍
在这篇文章中，我将指导你如何实现一个Hive Lead应用，这个应用可以帮助你计算一个表中的每个组的领导者。我们将使用Hive查询语言和一些基本的SQL代码来完成这个任务。下面是整个过程的步骤表格：
| 步骤 | 描述 |
| --- | --- |
| 步骤 1 | 创建一个包含所有组成员的表 |
| 步骤 2 | 计算每个组的领
原创
2023-12-05 06:23:46
39阅读
实现 DolphinScheduler Hive 应用的流程如下：
步骤|操作
-|-
1|创建 Hive 数据库和表
2|编写 Hive SQL 脚本
3|配置 DolphinScheduler 调度任务
4|执行 DolphinScheduler 任务
下面逐步介绍每个步骤需要做的操作和代码。
### 1. 创建 Hive 数据库和表
首先，你需要创建一个 Hive 数据库和相应的表。可
原创
2024-01-03 12:07:59
91阅读
Hive 数据类型 与 案例实操基本数据类型Hive数据类型Java数据类型长度示例TINYINTbyte1byte 有符号整数20SMALLINTshort2byte 有符号整数20INTint4byte 有符号整数20BIGINTlong8byte 有符号整数20BOOLEANboolean布尔类型，true或falseTRUEFLOATfloat单精度浮点数3.14DOUBLEdouble双
转载
2023-07-12 11:56:50
96阅读
