一、简介 Hive由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类Sql查询的功能。hive本质是将HQL转化为MapReduce的程序hive处理的数据存储在HDFShive分析数据低层的实现是MapReduce执行程序运行在YARN上
转载
2023-07-12 11:22:06
64阅读
Hive（一）概述一.简介1.概述2.Hive架构3.Hive数据模型4.Hive文件格式5.Hive压缩6.Hive配置7.关于小文件问题二.安装Hive三.Hive基本使用 一.简介1.概述什么是 HiveHive：由Facebook开源用于解决海量结构化日志的数据统计工具Hive 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能，用户只需要写
转载
2023-07-14 12:49:48
74阅读
Hive 的优缺点及数据倾斜hive的特点hive的优缺点hive的数据倾斜什么是数据倾斜？hadoop框架特性数据倾斜的主要表现：不容易产生数据倾斜的情况：容易产生数据倾斜的情况：产生数据倾斜的原因：数据倾斜典型场景分析：大量的关联键为null值的时候关联键类型不统一大小表关联查询产生数据倾斜小表和小表关联大表和小表（小于23.8M ）关联大表和中表关联大表和大表关联hive的优化 hive的
转载
2023-07-20 20:31:25
67阅读
本发明涉及软件升级技术，尤其涉及一种8路服务器Linux操作系统下刷新BIOS的方法。背景技术：随着8路服务器出货量的不断增加，软件升级速度慢严重拖后8路服务器生产效率，其中又以BIOS的升级占用时间最久。常规方法升级BIOS都是在DOS下或者在EFI下进行升级，这两种方式都需要至少两次重启(重启进入DOS/EFI进行刷新，刷新后还需要重启生效)耗费大量时间，原因在于8路服务器挂载的PCIE设备、
转载
2023-08-25 10:53:02
224阅读
hadoop生态圈之hive面试（一）说下为什么要使用Hive？Hive的优缺点？Hive的作用是什么？ 问过的一些公司：头条，字节x2，阿里参考答案：1、为什么要使用Hive？ Hive是Hadoop生态系统中比不可少的一个工具，它提供了一种SQL(结构化查询语言)方言，可以查询存 储在Hadoop分布式文件系统（HDFS）中的数据或其他和Hadoop集成的文件系统，如MapR-FS、Amazo
转载
2023-07-12 12:57:55
115阅读
文章目录一、Hive介绍Hive的优缺点Hive架构Hive用户接口Hive元数据的三种存储模式Hive数据存储架构原理用户接口Hadoop驱动器：DriverHive文件格式Hive本质Hive工作原理Hive数据类型 一、Hive介绍hive: 由 Facebook 开源用于解决海量结构化日志的数据统计工具。Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张
转载
2023-07-14 23:32:31
56阅读
文章目录介绍下载构建hive镜像内嵌模式修改配置运行进入hive伪分布模式修改配置mysql数据库运行进入hive分布模式修改配置运行进入hive仓库链接 介绍HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase不同于一般的关系数据库，它是一个适合于非结构化数据
转载
2023-09-01 15:30:31
34阅读
前提：安装好hadoop集群和jdk。在使用多台虚拟机还需要安装好zookeeper。Hive是什么？Hive是一种建立在Hadoop文件系统上的数据仓库架构，并对存储在HDFS中的数据进行分析和管理，主要提供以下功能它提供了一系列的工具，可用来对数据进行提取/转化/加载（ETL）；是一种可以存储、查询和分析存储在HDFS（或者HBase）中的大规模数据的机制；查询是通过MapReduce来完成的
转载
2024-04-02 22:04:34
169阅读
大数据技术之HiveHive基本概念Hive：由Facebook开源用于解决海量结构化日志的数据统计。Hive基于Hadoop来完成工作。 Hive是基于Hadoop的一个数据仓库工具（E抽取T转换L加载），可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析（翻译工作）数据底层的实现是MapR
转载
2023-07-13 01:48:57
45阅读
Hive 是facebook开源的一个基于hadoop框架的查询工具，也就是说，需要用hive的话，就要先安装hadoop。这次是小结一下最近用hive的心得，经验分享。hadoop和hive，pig，hbase的安装配置以后专门另开个连载说比较好。所以，我假设你已经有hive了。1.字段的数据类型。hive实际上为了数据挖掘的需要，对hive表的字段设置了数据类型，对于经常where的，还可以设
转载
2023-11-17 20:56:59
78阅读
Hive教程(一) Hive入门教程 1 Hive入门教程Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统
数仓理论数据仓库进阶 《阿里大数据之路》第二篇 数据模型篇 (完整版)说一下你对DWD和DWS的理解，为什么这一块要分两层？DWD层都是什么类型的事实表？说一下三种事实表的区别DWS层是周期快照型事实表还是事务型事实表？你知道无事实的事实表吗？含义： 即不包含事实或度量的事实表分类： （1）第一种是事实类的，记录事件的发生。例如日志类事实表，比如用户的浏览日志，对于每一次点击，其事实为1，但一般不
Hive入门第1章 Hive基本概念1.1 什么是Hive1.2 Hive 的优缺点1.2.1 优点1.2.2 缺点1.3 Hive 架构原理1.4 Hive 和数据库比较1.4.1 查询语言1.4.2 数据更新1.4.3 执行延迟1.4.4 数据规模第2章 Hive安装2.1 Hive 安装地址2.2 Hive安装部署2.2.1 安装Hive2.2.2 用 启动并使用 Hive2.3 MySQ
转载
2023-07-14 11:08:41
439阅读
一、Hive的介绍1. Hive是一个数据仓库软件 Hive可以使用SQL来促进对已经存在在分布式设备中的数据进行读，写和管理等操作！ Hive在使用时，需要对已经存储的数据进行结构的投影(映射) Hive提供了一个命令行和JDBC的方式，让用户可以连接到hive！ 注意：Hive只能分析结构化的数据！ Hive在Hadoop之上，使用hive的前提是先要安装Hadoop2. Hi
转载
2023-07-13 00:08:53
64阅读
hive 安装过程：
1.修改主机名
hostnamectl set-hostname master
2，做IP和主机名的映射
vim /etc/hosts
192.168.31.27 master
3，关闭防火墙
systemctl stop firewalld.service
3，时间设置
查看当前时间
输入:
date
查看服务器时间是否一致，若不一致则更改
更改时间命
转载
2024-04-11 09:16:27
27阅读
Hive介绍What is hiveThe Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data al
转载
2023-11-20 23:02:30
100阅读
一、hive是什么Apache Hive™数据仓库软件有助于使用SQL读取，写入和管理在分布式存储中的大数据集。 可以将结构映射到已存储的数据中。 提供了命令行工具和JDBC驱动程序以将用户连接到Hive。（官网翻译）二、hive的产生方便非java编程者对hdfs上的数据做MapReduce计算从上面这句话中，我们可以得出两个信息：1、hive的数据存储在hdfs上2、数据计算使用MapRedu
转载
2023-08-18 23:40:13
33阅读
# Hive OS更新驱动教程
## 概述
在Hive OS中，更新驱动是一个重要的操作，它可以提升挖矿性能和稳定性。本文将为你详细介绍Hive OS更新驱动的流程和每一步所需的代码。
## 流程图
以下是更新Hive OS驱动的流程图：
```mermaid
pie
title 更新Hive OS驱动流程
"A. 检查当前驱动版本" : 10
"B. 下载新驱动" : 20
"C. 安装新
原创
2023-09-30 09:35:26
1045阅读
需求假定Hive的person表存储用户当天消费的金额信息，HBase的table2表存储用户历史消费 的金额信息。 现person表有记录name=1,account=100，表示用户1在当天消费金额为100元。 table2表有记录key=1,cf:cid=1000，表示用户1的历史消息记录金额为1000元。 基于某些业务要求，要求开发Spark应用程序实现如下功能： 根据用户名累计用户的历史
转载
2024-08-13 15:52:31
29阅读
时间维表的建立完整版 目录
转载
2024-04-23 22:22:04
115阅读
