目录实验环境：实验步骤(均在root模式下进行)：一、解压二、配置环境变量三、修改配置文件1.修改/usr/local/hive/conf下的hive-site.xml2.配置hive-env.sh3.配置hive-config.sh，位于bin目录：4.查看版本： 四、配置mysql和jdbc1.安装MySQL：2.配置jdbc驱动：3.启动并登陆mysql shell4.新建hive
转载
2023-09-20 04:36:49
83阅读
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建四（Hbase篇）五、Hbase集群搭建1.准备工作（下载与时间同步）2.安装解压3.环境变量配置4.文件配置六、启动Hbase1.启动zookeeper2.启动Hadoop2.1格式化HDFS2.2启动HDFS2.3启动YARN2.4Hadoop启动校验3.Hbase启动4.问题 五、Hbase集群搭建1.准
转载
2024-06-11 13:05:47
43阅读
CentOS下hive（数据仓库工具）安装采取服务端与客户端分离模式在master上安装服务端在node1上安装客户端一、服务端安装1.输入 mkdir /usr/local/hive ，建立一个hive的目录2.将hive的tar包上传到建好的目录3.进入hive目录，输入 tar -zxvf apache-hive-0.13.0-bin.tar.gz 解压hive的tar包4.将mysql驱动
转载
2023-07-14 12:53:36
202阅读
1、集群安装与配置以centos为例，首先创建4台虚拟机，分别命名为hp001、hp002、hp003、hp004。安装成功后，然后分别修改主机名（hp002、hp003、hp004同hp001）。vim /etc/sysconfig/network # 编辑network文件修改hostname hadoop1cat /etc/sysconfig/network cat /etc/
转载
2023-12-04 17:34:11
156阅读
一、Centos7下搭建hive集群注意：hive集群的搭建与hadoop版本有密切关系 ( 本篇博客的 hadoop版本为 2.7.1,所以hive要用 hive 2.3.6 , 而 hadoop 2.5.2 配 hive1.2.2 , 其它的版本可自测)1. 首先看一下我的环境拓扑图2. 简单了解hive多用户模式原理3. 开始搭建hive集群(1) 确保 node1上的 mysql安装成功，
转载
2023-10-06 23:52:37
60阅读
一.前述Hive中搭建分为三中方式 a)内嵌Derby方式 b)Local方式 c)Remote方式 三种方式归根到底就是元数据的存储位
原创
2022-12-30 16:53:36
213阅读
Hive是Hadoop生态中的一个重要组成部分，主要用于数据仓库。前面的文章中我们已经搭建好了Hadoop的群集，下面我们在这个群集上再搭建Hive的群集。1.安装MySQL1.1安装MySQL Server在Ubuntu下面安装MySQL的Server很简单，只需要运行： sudo apt-get install mysql-server 系统会把MySQL下载并安装好。这里我们可以把MyS
转载
2024-08-02 11:31:55
99阅读
写在前边的话： hadoop2.7完全分布式安装请参考：继任该篇博客之后，诞生了下面的这一篇博客 基本环境： Hadoop 2.7 &
转载
2024-03-12 13:15:44
390阅读
Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据，提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行（具体的Hive架构大家自行搜索）。接下来主要讲下Hadoop集群下Hive的安装配置，并搭载Derby数据库（一款小巧的数据库，用于测试，不推荐开发使用，具体大家自行百度），进行一些基本的数据库操作，好了，让我们开始吧。一、环境：同样的启用三个节点，分别
# 使用Docker搭建Hive集群指南
在大数据的世界里，Apache Hive 是一个用于数据仓库的工具，能够在 Hadoop 分布式文件系统（HDFS）上进行数据查询和分析。使用 Docker 搭建 Hive 集群是一个很好的实践，可以让你快速地构建和测试 Hive 的功能。本文将详细阐述如何通过 Docker 搭建一个 Hive 集群，包括每个步骤所需的代码和解释。
## 流程概述
因为学习的需要，需要部署一个hadoop的集群，在网上有很多的hadoop集群安装教程但是有的不够详细而且中间有的问题没有指出来我结合了一些安装的教程，在这里通过结合我自己搭建的过程以及遇到的一些问题写出一篇比较完善的安装教程。首先说明下我的安装环境，我但是在一台ubuntu系统的主机和一台windows上安装两个虚拟机ubuntu来搭建集群。ubuntu的版本都是14.04的桌面版的。安装的步骤
转载
2023-07-21 16:24:32
141阅读
摘要：去年开发BI系统，其中ETL用到了Hadoop和Hive，我用三台Dell服务器，搭建了一个Hadoop集群，用于开发测试。在接下来的几篇中，我会介绍些BI架构设计的内容，以及在开发中遇到的困难和解决办法。今天就说一下搭建集群！ 运行环境服务器清单 master 10.0.0.88 slave1 10.0.0.89 slave2 10.0.0.90 部署架构图
因为我们使用
# 搭建Hive远程模式集群
Hive是一个建立在Hadoop之上的数据仓库工具，可以进行数据提取、转换和加载等数据处理操作。在实际应用中，有时候需要搭建Hive远程模式集群，以实现更大规模的数据处理任务。本文将介绍如何搭建Hive远程模式集群，并提供相应的代码示例。
## Hive远程模式集群搭建步骤
### 1. 安装Hive
首先，需要在每台服务器上安装Hive，并配置好环境变量。可
原创
2024-06-30 06:01:49
169阅读
在大数据处理领域，Hive 是一个广泛使用的数据仓库工具，通常与 Hadoop 一起使用。为了确保 Hive 的高可用性，我们需要搭建一个高可用集群。接下来我将分享 “Hive 高可用集群搭建” 的详细过程，包括环境准备、分步指南、配置详解、验证测试、排错指南及扩展应用。
## 环境准备
在搭建高可用的 Hive 集群之前，首先需要确认软硬件环境满足我们的需求。
### 硬件要求
- 至少
Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类 SQL 查询功能， Hive 底层是将 SQL 语句转换为 MapReduce 任务运行一、前 期准备1.保证 Hadoop 集群搭建成功并启动hadoop集群搭建教程：http://39.105.70.212/?p=109# 启动HDFS
start-dfs.sh
# 启动yarn集群
sta
转载
2023-07-23 17:15:15
66阅读
引言网上有很多hadoop分布式部署的步骤和方法，但对于新手来说，搭建这样一套分布式环境，并不能对整个集群环境有一个整体的结构认识，因此本文以图解的方式解释下我们搭建hadoop分布式环境都要做哪些工作第一步，配置主机名Namenode节点对应的主机名为master Datanode节点对应的主机名分别为node1、node2 分别配置master、node1和node2等机器的主机名 这些步
转载
2023-07-12 15:20:13
161阅读
本篇安装软件Hive1.2 hue-3.9.0-cdh5.14.0 Zookeeper3.4 Kafka2.11-0.10 redis3.0.0 elasticsearch-6.6.2 elasticsearch-7.17.3 elasticsearch-ik分词器 版本和安装es保持一致Hivehive不是个数据库!!!，它只是基于hadoop的一个提供sql化处理数据的工具而已，只是它和数据库
PS:
Active是对外提供服务的，standBy是从属备用的；但是他们是怎样保证同步的数据的呢？一个运行中zookeeper上的第三方那个工具 qJournal
PS:什么时候感知到服务挂了呢，进行切换呢？就是使用zkfc技术PS:namenode的安全模式PS:Ferdaration是就是由多个HDFS构成。一般用的比较少---------------------------Hi
转载
2023-12-11 17:24:18
141阅读
Hive的安装和配置及使用一、Hive的安装和配置1、实验目的及要求2、实验过程3、遇到的问题 一、Hive的安装和配置1、实验目的及要求1、完成Hive的安装与配置 2、Hive的相关服务能够正常运行 3、Hive控制台命令能够正常使用 4、表创建、数据查询等数据库操作能够正常运行 5、掌握数据仓库的使用 6、能正常操作数据库、表、数据2、实验过程任务一：Hive的安装与配置 一：Hive基本
转载
2023-09-01 10:43:22
89阅读
文章目录前言一、系统环境准备（所有服务器）1.关闭防火墙2.关闭selinux3.修改系统资源限制4.制作本地yum源（离线环境）5.同步主机名6.同步服务器时间与时区7.内核参数调优8.安装JDK二、主节点服务器环境准备1.安装CDH软件仓库2.部署MariaBD3.部署cloudera manager三、从节点服务器环境准备四、CDH创建集群 前言 最近公司要进行大数据平台CDH的搭建，所以
转载
2024-04-11 12:36:02
128阅读
