目录 一、环境和应用准备二、构建images三、搭建Hadoop集群 四、配置Hadoop集群五、安装Hive 一、环境和应用准备环境：centOS7安装包版本：apache-hive-3.1.2-bin.tarhadoop-2.7.7.tar.gzjdk-8u11-linux-x64.tar.gz mysql-connector-java 二、构
转载
2024-08-02 10:04:39
697阅读
目录在虚拟机或Docker中搭建大数据伪分布式集群（三）：添加Hive一、Hive 安装与配置1、Hive 安装2、修改配置（1）hive-env.sh文件（2）hive-site.xml 文件（3）修改 hadoop 中的 core-site.xml3、启动（1）重启hadoop （2）第一次启动需要初始化（3）启动（4）测试（5）远程连接前面一路从hadoop、zookeeper、H
转载
2023-12-06 23:27:58
101阅读
# 在Docker中安装单机Hive和Hadoop
## 引言
Apache Hadoop是一个开源的分布式计算框架，可以处理大规模数据集，而Apache Hive是一种数据仓库工具，提供数据汇总、查询和分析的功能。通过Docker，我们可以轻松地在本地环境中搭建Hadoop和Hive，测试和学习这两个强大的工具。本文将详细介绍如何在单机环境下使用Docker安装Hive和Hadoop，并提供
目录1.安装部署Hive的基础前提：1.1、hadoop 集群配置2、Hive安装3.安装配置MySQL3.1、启动MySQL服务:3.2、mysql -u root -p3.3、然后创建myhive 用户:4.配置Hive4.1、配置hive-env.sh文件4.2、进入 hive安装目录下的配置目录，然后修改配置文件:4.3、将mysql的java connector复制到依赖库中，其中，第3
转载
2023-07-25 00:07:04
1175阅读
安装部署 Hive主要步骤 :解压并安装 Hive 安装配置 MySQL 配置 Hive 启动 Hive 验证 Hive 环境1.安装部署 Hive该部分的安装需要在 Hadoop 已经成功安装的基础上,并且要求 Hadoop 已经正常启动。 Hadoop 正常启动的验证过程如下： (1)使用下面的命令，看可否正常显示 HDFS 上的目录列表hdfs dfs -ls /(2)使用谷歌浏览器查看相应
转载
2023-11-18 23:20:28
464阅读
Hadoop集群搭建之Hive安装1. 准备工作准备好已经安装了Hadoop的集群服务器之后，需要在其中一台中安装MySQL数据库，安装可以参考CentOS7安装MySQL5.7这篇文章。下载Hive的安装包并上传至其中一台服务器中，下载地址2. Hive本地安装1. 安装目录规划统一安装路径：/opt/modules
统一软件存放路径：/opt/software2. 上传压缩包1. 将压缩包上传
转载
2023-09-08 20:32:19
34阅读
Hive简介Hive是基于hadoop的一个数据仓库，可以将sql语句转化为MapReduce任务进行运行，不必要专门开发MapReduce，Hive定义了简单的类SQL，即HQL，可以用来对数据进行ETL(提取转化加载)操作。一 . 安装前准备Hive是基于hadoop的，所以首先要安装好hadoop集群，至于安装hadoop可以参考，如和选择版本，在官网上http://hive.apache.
转载
2023-07-24 08:56:15
63阅读
一、hive相关知识复习复习一下hadoop的数据仓库hive，它的元数据存储在第三方数据库中，实际数据存储在hadoop的hdfs上，所以hive不能脱离hadoop与第三方数据库单独存在，我们前面已经安装好了hadoop2.7.3版本，只要安装一个第三方数据库即可满足hive安装的依赖环境，这里我选择安装的是mysql5.5.46，hive选择安装的是1.2.1版本。hive将结构化的数据文件
转载
2023-08-06 23:28:18
1154阅读
# 在Docker中安装Hadoop和Hive2的步骤
在现代数据管理中，Hadoop和Hive都是非常流行的工具。Hadoop是一个开源框架，可以处理和存储大数据，而Hive是一个数据仓库系统，允许用户用类似于SQL的语言对存储在Hadoop中的数据进行查询。在这篇文章中，我们将探讨如何在Docker中安装Hadoop和Hive2。
## 安装Hadoop和Hive的流程
我们可以将整个安
1. Hive 简介 Hive 是一个基于 hadoop 的开源数据仓库工具，用于存储和处理海量结构化数据。它把海量数据存储于 hadoop 文件系统，而不是数据库，但提供了一套类数据库的数据存储和处理机制，并采用 HQL （类 SQL ）语言对这些数据进行自动化管理和处理。我们可以把 Hive 中海量结构化数据看成一个个的表，而实际上这些数据
转载
2023-09-03 12:57:53
49阅读
文章目录Hive 简介一，MySQL 下载和安装1）下载mysql2）安装mysql3）密码错误无法登录mysql二，Hive 下载和安装1）下载hive2）安装hive三，Hive 部署1）添加hive-site.xml配置2）上传mysql jdbc驱动到hive安装包lib下3）初始化元数据库4）启动hive5）beeline客户端连接 Hive 简介hive是基于Hadoop的一个数据仓
转载
2023-07-14 16:13:25
143阅读
Hive在Hadoop集群下的安装 文章目录Hive在Hadoop集群下的安装一、hive安装前必备步骤二、安装Hive三、配置Hive的环境变量四、测试连接 一、hive安装前必备步骤Hadoop集群能正常运行安装参考MySql安装 安装参考 需要增加以下步骤： 1）输入 ：my -uroot -pok 启动数据库 2）输入：use mysql创建用户：create user 'bigdata'
转载
2023-07-04 10:58:12
60阅读
目录一.Hive的安装和配置1.Hive并不是hadoop自带的组件，因此我们需要去下载hive，此次课我们使用hive 1.2.1版本，下载地址为：2.下载完成之后，安装包默认保存在下载文件夹中，解压安装包apache-hive-1.2.1-bin.tar.gz至路径 /usr/local，命令如下：3.然后切换至目录 /usr/local，将文件夹名改为hive（为了后续的方便），
转载
2023-09-14 13:21:37
187阅读
今天在开发过程中发现老师给的一个spark实验中大量用到了hive，甚至不用spark也可以完成，于是我就对这两个东西之间的关系去查了一些资料，在这里汇总下大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨
转载
2023-07-14 19:57:53
13阅读
一、前言什么是hive？Hive 数据仓库工具，可以把hadoop下原始结构化数据变成hive中表看成sql->Map-Reduce的映射器，提供shell，jdbc/odbc接口他为数据仓库的管理提供了多功能：数据ETL工具，数据存储管理和大型数据集查询和分析能力二、Hive 数据存储hive 的数据存储建立在hadoop 的hdfs 基础上,hive 的每个对应的分区对应 的数据库中的相
转载
2024-05-16 21:40:58
64阅读
hive
原创
2018-08-29 18:49:46
1691阅读
Hive简介Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql的人比会java的人多的多，hive可以说是学习hadoop相关技术的一个突
转载
2024-04-19 13:34:21
28阅读
一、所需软件 Java 必须安装。Hadoop 2.7 及以后版本，需要安装 Java 7 ssh 必须安装并且保证 sshd 一直运行，以便用 Hadoop 脚本管理远端Hadoop 守护进程，如果没有安装，ubuntu系统：$ sudo apt-get install ssh
$ sudo apt-get install rsync二、下载hadoop 地址：http://www.apache
转载
2023-07-03 21:12:47
89阅读
安装数据仓库Hive实验目的要求实验环境软件版本实验步骤步骤一：Hive工具安装配置步骤二：开启zookeeper集群，Hadoop集群以及HBase集群步骤三：创建hive元数据数据库步骤五：Hive工具启动和验证 实验目的要求目的： 1、数据仓库工具Hive的安装和配置 2、掌握数据仓库工具Hive的安装和配置 要求： 1、完成Hive工具的安装和配置 2、Hive工具能够正常启动运行 3、
转载
2023-07-13 17:28:08
110阅读
# 在本地使用Docker搭建Hadoop与Hive环境
在大数据领域，Hadoop与Hive是两个非常重要的工具。Hadoop是一个用于存储和处理大规模数据的分布式系统，而Hive是建立在Hadoop之上的数据仓库工具，可以让我们通过类SQL语句来查询和分析存储在Hadoop中的数据。本文将介绍如何使用Docker来在本地搭建Hadoop与Hive的开发环境。
## 准备工作
在开始之前，
原创
2024-05-08 07:45:57
133阅读
