前面一路从hadoop、spark、zookeeper、kafka等集群搭建而来，大数据生态环境已经初步形成，下面要继续来搭建大数据生态中很重要的Hive集群。 一、Hive简介 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，将类 SQL 语句转换为 MapReduce 任务执行。 二、环境准备 hadoop-
转载
2023-07-14 12:57:41
105阅读
首先检查系统安装的mysql版本，使用命令 rpm -qa | grep mysql若要安装自己的版本，则先执行删除操作 rpm -e xxxxx.rpm --nodeps然后安装自己的版本， &n
转载
2023-07-12 09:31:14
64阅读
Spark SQLSpark SQL精华及与Hive的集成一、Spark SQL简介1、SQL on Hadoop2、Spark SQL前身3、Spark SQL架构4、Spark SQL运行原理5、Catalyst优化器二、Spark Dataset API1、创建2、Dataset3、演练三、Spark DataFrame API1、介绍2、对比3、创建4、常用操作5、RDD和DataFra
转载
2024-09-06 10:19:15
36阅读
大数据技术之Hive(Hive搭建)1.1 什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在Yarn上1
转载
2023-10-07 21:47:35
64阅读
HIVE再次尝试 用 Mysql 环境搭建 以及 mysql中文乱码完美解决http://www.bieryun.com/1493.html说道hive用默认的Derby作为metadata的存放处，但是这个缺点比较多，只能同时让一个用户登陆，重启机器后建的表也没了，不能用于真正的集群，下面讲解用mysql作为数据的搭建方法。1. hive安装第一步：安装mysql因为我用的是ubuntu系统，安
转载
2023-10-28 21:09:17
73阅读
1.定义 Apache Hive数据仓库软件便于读，写和管理大型数据集驻留在分布式存储使用SQL。 结构可以投影到存储中的数据上。 客户端的连接方式可采用：command line 和 JDBC Driver。注意：Hive实质就是客户端，不存在主从结构，搭建过程没有集群概念。2.搭建Hive 前提： a.Hadoop集群搭建完成！
转载
2023-07-03 21:22:08
71阅读
目录导读Hadoop、Hive 是什么运行环境hive-env.shhive-site.xmlcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlhadoop-env.cmdJava 环境Mysql下载 Hadoop、Hive 和 驱动安装 Hadoop启动 Hadoop安装 Hive配置 Hive运行 Hive连接到 Hive导读最近一个数
转载
2024-07-22 10:43:28
37阅读
大数据技术之 Hive第 1 章 Hive 基本概念1.1 什么是 Hive1） hive 简介Hive：由 Facebook 开源用于解决海量结构化日志的数据统计工具。Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并 提供类 SQL 查询功能。2） Hive 本质：将 HQL 转化成 MapReduce 程序SQL—Mapreduce（1）Hive 处理
转载
2023-07-21 16:24:13
120阅读
# 为什么搭建Hive需要MySQL？
在大数据处理中，Hive是一个重要的工具，它提供了一个类SQL的查询语言，可以在Hadoop上处理结构化数据。然而，许多小白在学习Hive时会遇到一个基本问题：为什么在搭建Hive时需要使用MySQL？在这篇文章中，我们将详细解说这一过程，并提供必要的步骤和代码示例，以帮助你理解这一关联。
## 整体流程
搭建Hive并使用MySQL的流程可以简单概括
原创
2024-10-13 05:23:37
50阅读
前提条件：
下载：https://mirrors.cnnic.cn/apache/hive/
安装了hadoop集群，
1．解压缩hive的软件包，使用命令：
tar -zxvf hive-3.1.0-bin.tar.gz
**2．进入hive的配置目录. 编辑/usr/local/data/hive-3.1.0/conf/hive-site.xml **
添加配置文件：
<?xml
原创
2024-04-22 09:48:53
21阅读
Hive hive是简历再hadoop上的数据库仓库基础架构，它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储，查询和分析存储再hadoop种的大规模数据机制，hive定义了简单的类sql查询语音，称为QL，它允许熟悉sql的用户查询数据，同时， 这个语言也允许熟悉ma
原创
2021-07-27 16:45:21
148阅读
目录一、删除原版本5.7MySQL二、安装5.8版本MySQL1、准备以下mysql包2、新建mysql文件夹 3、上传安装包4、rpm下载5、启动mysql服务 6、修改密码 三、配置Hive元数据保存到MySQL1、删除原版本mysql驱动2、上传新版本驱动 3、修改$HIVE_HOME/conf/hive-site.xml4、登录mqsql，创建元数据
转载
2024-02-20 13:54:48
133阅读
1、搭建环境部署节点操作系统为CentOS，防火墙和SElinux禁用，创建了一个shiyanlou用户并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下创建/app目录，并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanl
转载
2024-07-23 09:40:04
204阅读
# 搭建Hive的高可用环境基于MySQL
在现代数据处理和大数据环境中，Hive作为一种数据仓库工具，不仅仅用于数据查询，还广泛用于数据分析。本文将引导您如何搭建Hive的高可用环境，使用MySQL作为元数据存储，以确保数据的可靠性和冗余性。
## 整体流程
在开始之前，让我们先总结一下搭建Hive高可用环境的关键步骤，您可以参照下表：
| 步骤 | 描述
原创
2024-09-07 03:39:27
98阅读
一.前述Hive中搭建分为三中方式 a)内嵌Derby方式 b)Local方式 c)Remote方式 三种方式归根到底就是元数据的存储位
原创
2022-12-30 16:53:36
213阅读
记录一下使用docker快速搭建部署hive环境
记录一下使用docker快速搭建部署hive环境目录写在前面步骤安装docker安装docker安装docker-compose配置docker国内镜像源（可选）安装git & 配置github部署Hivedocker-hive开始部署使用Hive命令行收尾工作安装vi、lrzsz关闭相关命令EN
转载
2023-07-18 18:45:35
114阅读
hive数据仓库的搭建的详细图文教程
原创
精选
2023-10-23 14:45:07
326阅读
# 使用Ambari搭建Hive
在大数据生态系统中，Apache Hive是一个非常重要的工具。它提供了一种类似于SQL的查询语言（HiveQL），使分析员可以方便地对存储在Hadoop分布式文件系统（HDFS）中的大规模数据集进行查询和操作。本篇文章将介绍如何使用Apache Ambari搭建Hive，并通过示例代码进行演示。
## 什么是Ambari？
Apache Ambari是一个
Kubernetes（简称K8S）是一个用于自动部署、扩展和管理容器化应用程序的开源平台。而Hive是建立在Hadoop之上的数据仓库工具，用于提供数据的查询和分析。本文将指导你如何使用Kubernetes搭建Hive，并附上相应的代码示例。
整体流程如下：
| 步骤 | 操作 | 代码
原创
2024-01-19 09:28:40
43阅读
一.安装hive包1、将课程提供的apache-hive-0.13.1-bin.tar.gz使用WinSCP上传到spark1的/usr/local目录下。2、解压缩hive安装包：tar -zxvf apache-hive-0.13.1-bin.tar.gz。3、重命名hive目录：mv apache-hive-0.13.1-bin hive4、配置hive相关的环境变量 vi ...
原创
2022-01-17 14:27:44
210阅读
