1、集群安装与配置以centos为例，首先创建4台虚拟机，分别命名为hp001、hp002、hp003、hp004。安装成功后，然后分别修改主机名（hp002、hp003、hp004同hp001）。vim /etc/sysconfig/network # 编辑network文件修改hostname hadoop1cat /etc/sysconfig/network cat /etc/
转载
2023-12-04 17:34:11
156阅读
Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类 SQL 查询功能， Hive 底层是将 SQL 语句转换为 MapReduce 任务运行一、前 期准备1.保证 Hadoop 集群搭建成功并启动hadoop集群搭建教程：http://39.105.70.212/?p=109# 启动HDFS
start-dfs.sh
# 启动yarn集群
sta
转载
2023-07-23 17:15:15
66阅读
0. 引言hadoop 集群，初学者顺利将它搭起来，肯定要经过很多的坑。经过一个星期的折腾，我总算将集群正常跑起来了，所以，想将集群搭建的过程整理记录，分享出来，让大家作一个参考。由于搭建过程比较漫长，所以，这篇文章应该也会很长，希望大家能耐心看完。1. 集群环境和版本说明3台CentOS 7.4 的服务器，4CPU，8G内存；
jdk 1.8
hadoop 2.7.7
spark 2.3.0
转载
2024-05-01 17:37:08
341阅读
Hive是Hadoop生态中的一个重要组成部分，主要用于数据仓库。前面的文章中我们已经搭建好了Hadoop的群集，下面我们在这个群集上再搭建Hive的群集。1.安装MySQL1.1安装MySQL Server在Ubuntu下面安装MySQL的Server很简单，只需要运行： sudo apt-get install mysql-server 系统会把MySQL下载并安装好。这里我们可以把MyS
转载
2024-08-02 11:31:55
99阅读
目录一、安装环境二、下载Hive三、解压gzip包四、创建mysql hadoop用户五、配置mysql connector依赖六、Hive配置七、初始化Hive元数据八、检查Hive安装结果九、遇到的问题 一、安装环境系统版本：CentOS 7.3 系统账户：hadoop账户（之前安装hadoop使用的账户） mysql版本：5.7.30 hadoop：3.2.1 Hive版本：3.1.2二、
转载
2023-12-11 22:55:11
46阅读
写在前边的话： hadoop2.7完全分布式安装请参考：继任该篇博客之后，诞生了下面的这一篇博客 基本环境： Hadoop 2.7 &
转载
2024-03-12 13:15:44
390阅读
hadoop 和hive配合使用，可以极大的提高大数据的运算效率，公司在线上的服务器每天都会产生大量的log，技术人员需要对这些log进行分析，取得用户的telemetry等数据，使用传统的脚本来分析，需要耗费大量的时间，因此搭建了一个hadoop集群(10台机器)，并且使用hive配合，再辅助几个crontab脚本，这样每天上班之后，技术就可以拿到前一天的应用数据了，整个过程不需要人工干预，下面
原创
2013-05-30 16:56:52
940阅读
环境hadoop2.7.1+ubuntu 14.04hive 2.0.1集群环境namenode节点：master (hive服务端)datanode 节点：slave1...
转载
2021-06-10 21:07:10
283阅读
环境hadoop2.7.1+ubuntu 14.04hive 2.0.1集群环境namenode节点：master (hive服务端)datanode 节点：slave1...
转载
2021-06-10 19:45:53
180阅读
Hadoop HA集群的搭建序言1、JDK的安装2、环境变量的配置3、映射主机名与IP地址3.1修改主机名(其它四台虚拟机也是要修改为对应的hostname)3.2修改hosts文件(每台虚拟机都要配置)3.3ping主机名4、分发配置信息到各个虚拟机5、配置SSH无秘钥连接6、同步虚拟机的时间7、安装zookeeper(安装在slave结点)8、安装Hadoop8.1解压安装包8.2修改配置文
转载
2023-07-12 11:16:58
62阅读
（集群）搭建Hadoop+Hbase+hive+Spark（详解版）本教程是已经搭建好Hadoop集群Hadoop+Hbase集群：
https://blog.csdn.net/qq_46138492/article/details/128590916
Hadoop+Hbase+Hive集群：
https://blog.csdn.net/qq_46138492/article/details/1
转载
2024-01-02 20:37:20
105阅读
搭建Hadoop的分布式Hive环境是大数据工程师的一个重要技能。在本博文中，我们将详细记录如何在完全分布的Hadoop环境中搭建Hive，以便日后参考与复盘。
### 环境准备
在开始搭建之前，我们需要确保我们的系统和工具已经符合要求。以下是我们所需的前置依赖和版本兼容性矩阵。
| 组件 | 最低版本 | 推荐版本 | 说明
配置远程模式hive的前提需要安装mysql，这里一般不会出问题第一：安装mysql，这里是黑马的安装方法。#-------------Mysql安装----------------------
#卸载Centos7自带mariadb
rpm -qa|grep mariadb
mariadb-libs-5.5.64-1.el7.x86_64
rpm -e mariadb-libs-5.5.64-
://ilovejavaforever.iteye.com/blog/733247一、 Hadoop环境搭建 首先在Apache官网下载hadoop的包hadoop-0.20.2.tar.gz。 解压hadoop-0.20.2.tar.gz
转载
2011-11-09 12:09:00
85阅读
2评论
目录1.安装部署Hive的基础前提：1.1、hadoop 集群配置2、Hive安装3.安装配置MySQL3.1、启动MySQL服务:3.2、mysql -u root -p3.3、然后创建myhive 用户:4.配置Hive4.1、配置hive-env.sh文件4.2、进入 hive安装目录下的配置目录，然后修改配置文件:4.3、将mysql的java connector复制到依赖库中，其中，第3
转载
2023-07-25 00:07:04
1170阅读
Hadoop集群部署:一.Hive的三种部署模式1.嵌入模式 使用内嵌的Derby数据库存储元数据，是Hive最简单的部署方式。嵌入模式下的Hive不支持多会话连接，不适合生产环境，只适合测试环境。 2.本地模式 使用本地独立数据库存储元数据，这里的独立数据库通常使用MySQL数据库。本地模式部署的Hive支持元数据共享，并且支持多会话连接。 3.远程模式 远程模式与本地模式一样，同样是使用独立数
转载
2023-08-21 17:48:00
94阅读
引言网上有很多hadoop分布式部署的步骤和方法，但对于新手来说，搭建这样一套分布式环境，并不能对整个集群环境有一个整体的结构认识，因此本文以图解的方式解释下我们搭建hadoop分布式环境都要做哪些工作第一步，配置主机名Namenode节点对应的主机名为master Datanode节点对应的主机名分别为node1、node2 分别配置master、node1和node2等机器的主机名 这些步
转载
2023-07-12 15:20:13
161阅读
Hadoop平台的搭建流程之单机/伪分布配置所需工具：VMware Workstation / Virtual Box 虚拟机; Hadoop安装文件；实验环境：Ubuntu 32位或64位系统 / CentOS系统；ps:该实验教程采用Ubuntu 64位系统进行讲解。 Ubuntu安装系统：请参考http://dblab.xmu.edu.cn/blog/337-2/ 如果使用CentO
转载
2024-02-05 15:03:47
55阅读
1.系统环境VMware-workstation：VMware-workstation-full-16.2.3ubuntu：ubuntu-21.10hadoop：hadoop2.7.2mysql：mysql-connector-java-8.0.19jdk：jdk-8u91-linux-x64.tar（注意要是linux版本的，因为是在linux系统中创建虚拟机）hive：hive1.2.1小技巧
转载
2023-09-04 16:25:31
97阅读
目录 一、环境和应用准备二、构建images三、搭建Hadoop集群 四、配置Hadoop集群五、安装Hive 一、环境和应用准备环境：centOS7安装包版本：apache-hive-3.1.2-bin.tarhadoop-2.7.7.tar.gzjdk-8u11-linux-x64.tar.gz mysql-connector-java 二、构
转载
2024-08-02 10:04:39
697阅读
