上周使用hive做一些操作，几个小问题纠结很久。特此记录下；hive概念 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。适用场景
转载
2023-07-06 22:11:32
64阅读
Hive思维导图Hive介绍：Hive主要解决海量结构化日志的数据统计分析，它是hadoop上的一种数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类似于SQL的查询方式，本质上来说是将Hive转化成MR程序。Hive与其它数据库的区别：Hive数据是存储在HDFS，本质上是转换成mr程序执行，因此查询效率比较慢，涉及mr程序的资源调度和任务计算；HDFS的数据操作是支持覆盖追加，它不支持
转载
2024-01-02 22:05:19
55阅读
1： Hive简介 hive是 数据仓库软件，使用SQL功能方便读取、写入和管理分布式存储中的大型数据集。结构化可以投影到存储中已有的数据上。提供了命令行工具和JDBC驱动程序，用于将用户连接到配置单元。 Hive是基于Hadoop的数据仓库解决方案。 就是在Hadoop上架了一层SQL接口，可以将SQL翻译成MapReduce去Hadoop(yarn)上执行，这样就使得数据开发和分析人员很方便的
转载
2023-10-02 20:17:55
77阅读
一.什么是hivehive由Facebook实现并开源，hive是依赖于hadoop的一个数据库(数据仓库)，可以让开发者在不清楚MapReduce编程的情况下完成MapReduce的任务执行，把MapReduce程序封装成了HQL语句，使用户像操作sql一样去操作MapReduce程序。二.hive的组成部分三.hive的特点 优点： 1、可扩展性,横向扩展
转载
2023-08-07 18:30:23
786阅读
HIve是分布式数据仓库，基于Hadoop生态产生，由于MapReduce处理数据的编程模型对于SQL开发人员不方便，发展出Hive帮SQL人员利用Hadoop处理数据计算问题。 最初的Hive只提供了SQL转化为MapReduce的解析器，但Hive与传统数据库相比如DB2、Oracle、
转载
2024-06-04 10:12:47
0阅读
1.主要区别未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）； 区别：内部表数据由Hive自身管理，外部表数据由HDFS管理； 内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定； 删除内部表会直接删除元数据
转载
2023-07-12 20:34:11
92阅读
目录hive概述Hivehive优点hive缺点hive构架原理hive与数据库比较hive概述HiveHive是基于Hadoop的一个数据仓库工具，由Facebook开源用于解决海量结构化日志，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。（1）hive的本质是将HQL转化成为MapReduce（2）hive分析数据底层的实现是MapReduce；（3）hive处理的数据存储在HD
转载
2023-08-30 19:30:46
129阅读
内部表和外部表的区别执行删除表命令操作时，对于内部表，会删除元数据和存储的数据，而对于外部表只会删除元数据库里的元数据信息，而不会删除存储的数据。这样可以防止多个部门同时使用一个表时，一个部门删除数据文件导致其他部门不能使用的情况。方便共享数据。内部表默认存储在数据仓库中，而外部表一般通过location自己指定目录，便于存放在仓库外。Hive分区表为什么有分区表？ 如果把一年或者一个月的日志文件
转载
2023-08-29 20:22:58
73阅读
可以先，从MySQL里的视图概念理解入手 视图是由从数据库的基本表中选取出来的数据组成的逻辑窗口，与基本表不同，它是一个虚表。在数据库中，存放的只是视图的定义，而不存放视图包含的数据项，这些项目仍然存放在原来的基本表结构中。  
转载
2023-08-09 10:04:11
64阅读
1.Hive 是什么hive 是一个构建在Hadoop上的数据仓库工具,它可以让结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,剋将SQL语句转换为MapReduce任务进行运行,其优点是学习成本低.hive的目的是让精通SQL技能的分析师能够在Facebook存放在HDFS的大规模数据集上进行查询操作. 目前,Hive已经成为一个通用的、可伸缩的数据处理平台. 2.Hi
转载
2023-08-14 10:46:39
123阅读
## Hive数仓的特点
在数据分析和处理领域，Hive数仓是一种非常常见的解决方案。Hive是基于Hadoop的数据仓库基础设施，它提供了一个类似于SQL的查询语言，称为HiveQL，用于处理大规模数据集。下面我们将介绍Hive数仓的几个主要特点。
### 1. 强大的数据处理能力
Hive数仓通过将数据存储在Hadoop分布式文件系统（HDFS）中，并使用MapReduce或Tez等计算
原创
2023-12-16 05:42:33
90阅读
目录：hive简介hive使用场景hive安装模式
内嵌模式本地模式远程模式hive环境搭建：本地模式hive架构说明一.hive简介1.hive的来源2.hive简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL的查询功能。其基于原理是将HQL语句自动转化成MapReduce任务。Hive建立在Hadoop的其它组件之上：依赖于HDF
Hive 有四种表的类型内部表(管理表) 由Hive完全管理表和数据的生命周期。默认创建的表是内部表。 删除表的时候，数据和元数据都被删除。外部表 删除外部表时只删除元数据，不会删除它关联的数据文件。外部表更加安全和灵活，易于数据的共享。分区表 根据业务编码、日期、其他类型等维度创建分区表，在一个表对应的目录下，一个分区对应一个目录。 单表数据量巨大，而且查询又经常限定某一个类别，那么可以将表按照
转载
2023-09-08 18:26:15
199阅读
什么叫外部表外部表只能在Oracle 9i之后来使用。简单地说，外部表，是指不存在于数据库中的表。通过向Oracle提供描述外部表的元数据，我们可以把一个操作系统文件当成一个只读的数据库表，就像这些数据存储在一个普通数据库表中一样来进行访问。外部表是对数据库表的延伸。外部表的特性（1） 位于文件系统之中，按一定格式分割，如文本文件或者其他类型的表可以作为外部表。 （2） 对外部表的访问可以通过SQ
转载
2023-07-14 11:22:48
176阅读
Hive中内部表与外部表的区别： Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。 需要注意的是传统数据库对表数据验证是 schema on write（写时模式），
转载
2023-07-12 11:07:39
86阅读
一. 什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL(Hive Query Language)转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析数据底层的实现是MapReduce3）执行程序运行在Yarn上&nbs
转载
2024-04-08 21:14:50
55阅读
1、什么是Hive?Hive是基于Hadoop的一个数据仓库工具，将结构化的数据文件映射为一张表，提供与SQL类似的查询功能。1.1本质将HQL转换成MR程序 Hive处理的数据存储在HDFS上，分析数据由MR实现，执行程序在YARN上。优点：适合处理对实时性要求不高的大数据。 缺点：不适合迭代算法、数据挖掘。1.2 Hive框架的驱动器具有哪些？（1）解析器（SQL Parser）：将SQL字符
转载
2023-09-20 06:05:40
85阅读
一、表分类内部表：也叫管理表，表目录会创建在hdfs得/usr/hive/warehouse/下的相应的库对应的目录中。外部表：外部表会根据创建表时LOCATION指定的路径来创建目录，如果没有指定LOCATION，则位置跟内部表相同，一般使用的时第三方提供的或者公用的数据。内部表与外部表之间的区别1.内部表与外部表在创建时的差别：就差两个关键字，EXTERNAL LOCATION举例内部表cre
转载
2023-09-26 16:02:52
73阅读
hive内部表、外部表区别自不用说，可实际用的时候还是要小心。 存储表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。下面分别来介绍。 一、Hive的数据存储
在
让你真正明白什么是hive 博文中我们提到Hive是基于Hadoop分布式文件系统的，它的数据存储在Hadoop分布式文件系统中。Hive本身是没有专门的数据
转载
2024-02-20 13:55:35
53阅读
Hive的概念： Hive是大数据领域中的数据仓库的基础框架 Hive是一个SQL解析引擎 Hive操作方式： hive -S -f hive-srcipt.hql > result.csv hive -S -e "" > result.csv Hive表的操作： 创建的方式和目前mysql一致 数据的加载方式：load data local inpath 'linux_path'
转载
2024-06-05 07:22:41
41阅读
