Hive教程(一) Hive入门教程  1 Hive入门教程Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统
转载 1月前
428阅读
Hive 是facebook开源的一个基于hadoop框架的查询工具,也就是说,需要用hive的话,就要先安装hadoop。这次是小结一下最近用hive的心得,经验分享。hadoop和hive,pig,hbase的安装配置以后专门另开个连载说比较好。所以,我假设你已经有hive了。1.字段的数据类型。hive实际上为了数据挖掘的需要,对hive表的字段设置了数据类型,对于经常where的,还可以设
转载 2023-11-17 20:56:59
78阅读
一、简介        Hive由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类Sql查询的功能。hive本质是将HQL转化为MapReduce的程序hive处理的数据存储在HDFShive分析数据低层的实现是MapReduce执行程序运行在YARN上
转载 2023-07-12 11:22:06
64阅读
数仓理论数据仓库进阶 《阿里大数据之路》第二篇 数据模型篇 (完整版)说一下你对DWD和DWS的理解,为什么这一块要分两层?DWD层都是什么类型的事实表?说一下三种事实表的区别DWS层是周期快照型事实表还是事务型事实表?你知道无事实的事实表吗?含义: 即不包含事实或度量的事实表分类: (1)第一种是事实类的,记录事件的发生。例如日志类事实表,比如用户的浏览日志,对于每一次点击,其事实为1,但一般不
Hive入门第1章 Hive基本概念1.1 什么是Hive1.2 Hive 的优缺点1.2.1 优点1.2.2 缺点1.3 Hive 架构原理1.4 Hive 和数据库比较1.4.1 查询语言1.4.2 数据更新1.4.3 执行延迟1.4.4 数据规模第2章 Hive安装2.1 Hive 安装地址2.2 Hive安装部署2.2.1 安装Hive2.2.2 用 启动并使用 Hive2.3 MySQ
转载 2023-07-14 11:08:41
439阅读
一、Hive的介绍1. Hive是一个数据仓库软件 Hive可以使用SQL来促进对已经存在在分布式设备中的数据进行读,写和管理等操作! Hive在使用时,需要对已经存储的数据进行结构的投影(映射) Hive提供了一个命令行和JDBC的方式,让用户可以连接到hive! 注意:Hive只能分析结构化的数据! Hive在Hadoop之上,使用hive的前提是先要安装Hadoop2. Hi
转载 2023-07-13 00:08:53
64阅读
hive 安装过程: 1.修改主机名 hostnamectl set-hostname master 2,做IP和主机名的映射 vim /etc/hosts 192.168.31.27 master 3,关闭防火墙 systemctl stop firewalld.service 3,时间设置 查看当前时间 输入: date 查看服务器时间是否一致,若不一致则更改 更改时间命
转载 2024-04-11 09:16:27
27阅读
Hive介绍What is hiveThe Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data al
转载 2023-11-20 23:02:30
100阅读
一、hive是什么Apache Hive™数据仓库软件有助于使用SQL读取,写入和管理在分布式存储中的大数据集。 可以将结构映射到已存储的数据中。 提供了命令行工具和JDBC驱动程序以将用户连接到Hive。(官网翻译)二、hive的产生方便非java编程者对hdfs上的数据做MapReduce计算从上面这句话中,我们可以得出两个信息:1、hive的数据存储在hdfs上2、数据计算使用MapRedu
Hive(一)概述一.简介1.概述2.Hive架构3.Hive数据模型4.Hive文件格式5.Hive压缩6.Hive配置7.关于小文件问题二.安装Hive三.Hive基本使用 一.简介1.概述什么是 HiveHive:由Facebook开源用于解决海量结构化日志的数据统计工具Hive 是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能,用户只需要写
转载 2023-07-14 12:49:48
74阅读
                                时间维表的建立完整版 目录                   
# Hive OS更新驱动教程 ## 概述 在Hive OS中,更新驱动是一个重要的操作,它可以提升挖矿性能和稳定性。本文将为你详细介绍Hive OS更新驱动的流程和每一步所需的代码。 ## 流程图 以下是更新Hive OS驱动的流程图: ```mermaid pie title 更新Hive OS驱动流程 "A. 检查当前驱动版本" : 10 "B. 下载新驱动" : 20 "C. 安装新
原创 2023-09-30 09:35:26
1039阅读
需求假定Hive的person表存储用户当天消费的金额信息,HBase的table2表存储用户历史消费 的金额信息。 现person表有记录name=1,account=100,表示用户1在当天消费金额为100元。 table2表有记录key=1,cf:cid=1000,表示用户1的历史消息记录金额为1000元。 基于某些业务要求,要求开发Spark应用程序实现如下功能: 根据用户名累计用户的历史
转载 2024-08-13 15:52:31
29阅读
Hive 的优缺点及数据倾斜hive的特点hive的优缺点hive的数据倾斜什么是数据倾斜?hadoop框架特性数据倾斜的主要表现:不容易产生数据倾斜的情况:容易产生数据倾斜的情况:产生数据倾斜的原因:数据倾斜典型场景分析:大量的关联键为null值的时候关联键类型不统一大小表关联查询产生数据倾斜小表和小表关联大表和小表(小于23.8M )关联大表和中表关联大表和大表关联hive的优化 hive
转载 2023-07-20 20:31:25
67阅读
本篇简单介绍hive的安装及使用。一、hive的安装hive使用的版本是:hive-0.9.0.tar.gz1、解压缩、重命名、设置环境变量命令分别如下:tar -zxvf hive-0.9.0.tar.gzmv hive-0.9.0 hive vi /etc/profile 2、在目录$HIVE_HOME/conf下,重命名hive-default.xml.template和hive-env.
转载 2023-07-12 11:33:32
290阅读
Hive基础概念和用途Hive是Hadoop下的顶级 Apache项目,早期的Hive开发工作始于2007年的 Facebook。⬛ Apache Hive是一款建立在Hadoop之上的开源数据仓库系统,可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表,基于表提供了一种类似SQL的查询模型,称为Hive查询语言(HQL),用于访问和分析存储在Hadoop文件中的大型数据集
转载 2024-03-10 22:42:28
90阅读
0.正经的前言这是一篇面向产品经理的Hive分享。目的是使受众更好的使用Hive client或其他封装Hive的产品。用HQL查询使用数据及应注意的问题和技巧。0.1.主要内容:Hive的基本原理Hive的使用教程Hive使用注意事项HQL的使用技巧0.2.建议读者:大数据相关产品经理初级数据分析师0.3.不涉及:Hive的安装与配置Hive的开发与调优Hive的管理员相关知识1.Hive的基本
转载 2023-07-13 21:43:14
82阅读
Hive的安装和使用我的版本: JAVA_HOME=/usr/local/soft/jdk1.8.0_171 HADOOP_HOME=/usr/local/soft/hadoop-2.7.6 HIVE_HOME=/usr/local/soft/hive-1.2.1一、离线安装mysqlhive的元数据需要存储在mysql, 安装hive前需要先在MySQL中创建hive元数据库create dat
转载 2024-02-03 04:11:03
70阅读
Hive 文章目录Hive1、Hive安装部署安装Hive安装MySQLHive元数据配置到MySQL访问Hive的方式使用元数据服务的方式访问 Hive使用 JDBC 方式访问 HiveHive 常见属性配置运行日志信息配置打印 当前库 和 表头2、Hive 数据类型基本数据类型集合数据类型类型转化3、DDL 数据定义数据库数据表4、DML 数据操作数据导入(五种)数据导出清除表中的数据(tru
转载 2023-08-04 12:44:45
1728阅读
## Hive OS更新显卡驱动 Hive OS是一款用于挖矿的操作系统,它提供了一个友好而功能强大的界面来管理和监控矿机。为了获得更好的性能和稳定性,定期更新显卡驱动是很重要的。在本文中,我们将介绍如何使用Hive OS来更新显卡驱动,并提供相关的代码示例。 ### 什么是Hive OS Hive OS是一款专门为矿工设计的操作系统。它基于Linux,并提供了一套丰富的工具和功能来管理和监
原创 2023-11-18 14:31:25
1482阅读
  • 1
  • 2
  • 3
  • 4
  • 5