一、Hive背景介绍 Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。马云在退休的时候说互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql
转载
2024-02-09 16:41:53
33阅读
第10章 企业级调优10.1 执行计划（Explain）1）基本语法EXPLAIN [EXTENDED | DEPENDENCY | AUTHORIZATION] query2）案例实操（1）查看下面这条语句的执行计划没有生成MR任务的hive (default)> explain select * from emp;
Explain
STAGE DEPENDENCIES:
Stage-
Hive的简介 Hive由 Facebook 开源用于解决海量结构化日志的数据统计工具，是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。本质是将 HQL 转化成 MapReduce 程序1）Hive 处理的数据存储在 HDFS上2）Hive 分析数据底层的实现是 MapReduce3）执行程序运行在 Yarn 上 Hiv
最新在学习大数据，期间一直弄不清楚hive和hbase之前的区别及使用场景，经查阅资料得出如下总结！ Hive中的表是纯逻辑表，就只是表的定义等，即表的元数据。Hive本身不存储数据，它完全依赖HDFS和MapReduce。这样就可以将结构化的数据文件映射为为一张数据库表，并提供完整的SQL查询功能，并将SQL语句最终转换为MapReduce任务进行运行。
转载
2023-09-20 06:59:58
64阅读
#前言1.hive介绍##2. centos7安装mysql###### 目的：为了存储hive的元数据表，如果用hive自带的Derby库，起一个hive shell连接就要单独创建一个库，不能够共享元数据表。 ###### 1.直接yum安装没有源，所以先下载rpm包###### 2.查看当前可用的mysql安装资源 yum repolist enabled |
转载
2023-07-12 11:59:39
111阅读
大数据存储框架之Hive概述 之前有写到HBase,那是老夫在开发过程中实际使用的一个存储数据库，HBase和Hive同样作为大数据存储中最优秀的两个存储框架，都有着彼此的优势，HBase更适合实时，Hive更适合离线。这里呢，就先简单的介绍一下HIve的基础架构以及Hive的一些基本安装步骤。认识我们的主角Hive什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计。
转载
2023-10-11 21:27:15
146阅读
原文链接：https://blog.csdn.net/mayaohao/article/details/122004618
1.1 什么是 Hive
1） hive 简介
Hive：由 Facebook 开源用于解决海量结构化日志的数据统计工具。
Hive 是基于 Hadoop 的一个==数据仓库工具==，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能
2） Hive 本质：将 H
转载
2023-09-08 19:02:17
168阅读
大数据面试之Hive1.Hive1.1 Hive的架构模型？1.2 Hive配置、启动和访问？1.3 hive中存放的是什么？1.5 Hive建表语句1.6 Hive内部表，外部表的区别1.7 Hive如何导入数据？1.8 Hive如何导出数据？1.9 Hive的数据倾斜1.10 Hive分区、分桶如何实现？优缺点1.11 请说明hive中Sort By、Order By、Cluster By，
转载
2024-01-22 21:48:47
43阅读
大数据之Hive简介第一部分一、Hive基本概念Hive简介Hive系统架构二、Hive的安装安装Hive安装MySQL配置Hive元数据到MySQL访问Hive使用元数据方式访问Hive使用JDBC方式访问HiveHive常用交互命令Hive常见属性配置Hive常见参数配置三、Hive的数据类型基本数据类型集合数据类型类型转换四、HiveDDL数据定义创建数据库创建表五、HiveDML数据操作
转载
2023-09-18 03:22:26
88阅读
一、什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序； 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在Yarn上 二、Hive的优缺点 优点 1)操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。 2)避
转载
2023-09-08 19:09:26
72阅读
“ 大数据时代，熟练使用SQL是基础中的基础，而Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户快速、简便查询海量数据。”01 Hive是什么Hive是基于hadoop的一个数仓分析工具，hive可以将hdfs上存储的结构化的数据，映射成一张表，然后让用户写HQL(类SQL)来分析数据。举例：tel up
转载
2023-10-10 14:17:50
87阅读
二 Hive 安装环境准备2.1 Hive 安装地址2.2 Hive 安装部署1）Hive 安装及配置（1）把 apache-hive-1.2.1-bin.tar.gz 上传到 linux 的/opt/software 目录下（2）解压 apache-hive-1.2.1-bin.tar.gz 到/opt/module/目录下面[atguigu@hadoop102 software]$ tar -
转载
2024-08-16 13:21:27
24阅读
一、Hive基本概念1.1 什么是Hive1） hive简介 Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。2） Hive本质：将HQL转化成MapReduce程序 （1）Hive处理的数据存储在HDFS （2）Hive分析数据底层的实现是MapReduce （3）执
1.Hive的基础概念本文介绍了大数据技术之Hive的一些基础概念，包括什么是Hive、Hive的优缺点、架构原理，以及和常用数据库的比较。 1.1什么是Hive1.Hive是由Facebook开源，用于解决海量 结构化日志的 数据统计。 2.Hive是基于Hadoop的一个数据仓库工具（可以将其看作是Hadoop的一个客户端），可以将结构化的数据文件映射为一张表，并提供类SQL的查询功能。Hiv
转载
2024-03-05 05:51:49
34阅读
Hive帮助熟悉SQL的人运行MapReduce任务。因为它是JDBC兼容的，同时，它也能够和现存的SQL工具整合在一起。HBase通过存储key/value来工作。它支持四种主要的操作。
转载
2020-12-03 16:29:38
46阅读
1. hive知识点(3)从这篇文章开始决定进行一些改变，老刘在博客上主要分享大数据每个模块的重点知识点，对这些重点内容进行详细解释，每个模块的完整知识点分享在公众号：努力的老刘。等有机会了，用视频的方式先对每次分享的知识点进行一次分析和总结，再发文章进行详细的解释。 现在开始正文，还是那句话，虽然这些都是hive的常用函数，很多人不在意，但是日常开发中会遇到很多业务需要用到
目录1 HQL操作之--DML命令1.1 Hive 事务1.2 Hive 事务操作示例2 元数据管理与存储2.1 Metastore2.2 HiveServer22.3 HCatalog2.4 数据存储格式TextFileSEQUENCEFILERCFileORCFileParquet文件存储格式对比测试 1 HQL操作之–DML命令数据操纵语言DML(Data Manipulation Lan
安装完CDH后，发现里面的东东实在是太多了，对于一个初学大数据的来说就犹如刘姥姥进了大观园，很新奇，这些东东每个单拿出来都够喝一壶的。接来来就是一步一步地学习了，先大致学习了每个模组大致做什么用的，然后再按模组一个一个细致学习，并实际演练。我给自已的第一个课题是如何将Sql Server的一个表数据导入到HDFS中，网上有很多这样的教程，不过我觉得最有用的还是官网的User Guide，网上的教程
转载
2023-07-13 01:32:30
217阅读
一、HIve概述hive是一个可以把数据用sql处理的工具，数据存储再hdfs上，底层处理是用mr，通过用sql的方式通过mr获得需要的数据，执行程序运行再yarn上。二、HIVE和MYSQL有什么区别数据存储不同，hive数据存储到hdfs上，用MR处理，mysql存储在磁盘上，可以把hive看成对hdfs上的数据处理的客户端工具，除了语言有一样的地方再无共同之处。三、hive元数据为啥要存在m
转载
2024-01-12 13:56:15
53阅读
大数据知识点全讲解之HiveHive简介Hive结构Hive与Hadoop的关系Hive安装Hive交互方式Hive数据类型Hive的基本数据类型Hive的复杂数据类型Hive元数据结构Hive和BeelineHive的基本操作数据库表操作内部表操作外部表操作分区表操作分桶表操作修改表结构 Hive简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供
转载
2023-07-12 20:01:38
63阅读
