1、集群安装与配置以centos为例，首先创建4台虚拟机，分别命名为hp001、hp002、hp003、hp004。安装成功后，然后分别修改主机名（hp002、hp003、hp004同hp001）。vim /etc/sysconfig/network # 编辑network文件修改hostname hadoop1cat /etc/sysconfig/network cat /etc/
转载
2023-12-04 17:34:11
156阅读
Hive是Hadoop生态中的一个重要组成部分，主要用于数据仓库。前面的文章中我们已经搭建好了Hadoop的群集，下面我们在这个群集上再搭建Hive的群集。1.安装MySQL1.1安装MySQL Server在Ubuntu下面安装MySQL的Server很简单，只需要运行： sudo apt-get install mysql-server 系统会把MySQL下载并安装好。这里我们可以把MyS
转载
2024-08-02 11:31:55
99阅读
写在前边的话： hadoop2.7完全分布式安装请参考：继任该篇博客之后，诞生了下面的这一篇博客 基本环境： Hadoop 2.7 &
转载
2024-03-12 13:15:44
390阅读
Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类 SQL 查询功能， Hive 底层是将 SQL 语句转换为 MapReduce 任务运行一、前 期准备1.保证 Hadoop 集群搭建成功并启动hadoop集群搭建教程：http://39.105.70.212/?p=109# 启动HDFS
start-dfs.sh
# 启动yarn集群
sta
转载
2023-07-23 17:15:15
66阅读
引言网上有很多hadoop分布式部署的步骤和方法，但对于新手来说，搭建这样一套分布式环境，并不能对整个集群环境有一个整体的结构认识，因此本文以图解的方式解释下我们搭建hadoop分布式环境都要做哪些工作第一步，配置主机名Namenode节点对应的主机名为master Datanode节点对应的主机名分别为node1、node2 分别配置master、node1和node2等机器的主机名 这些步
转载
2023-07-12 15:20:13
161阅读
因为学习的需要，需要部署一个hadoop的集群，在网上有很多的hadoop集群安装教程但是有的不够详细而且中间有的问题没有指出来我结合了一些安装的教程，在这里通过结合我自己搭建的过程以及遇到的一些问题写出一篇比较完善的安装教程。首先说明下我的安装环境，我但是在一台ubuntu系统的主机和一台windows上安装两个虚拟机ubuntu来搭建集群。ubuntu的版本都是14.04的桌面版的。安装的步骤
转载
2023-07-21 16:24:32
141阅读
Hive的安装和配置及使用一、Hive的安装和配置1、实验目的及要求2、实验过程3、遇到的问题 一、Hive的安装和配置1、实验目的及要求1、完成Hive的安装与配置 2、Hive的相关服务能够正常运行 3、Hive控制台命令能够正常使用 4、表创建、数据查询等数据库操作能够正常运行 5、掌握数据仓库的使用 6、能正常操作数据库、表、数据2、实验过程任务一：Hive的安装与配置 一：Hive基本
转载
2023-09-01 10:43:22
89阅读
前阵子想学习一下数据仓库相关内容，发现要学习hive软件，然后最近这几天终于把配置的东西整得差不多明白了。首先，hive是基于hadoop集群才能运行的软件，而hadoop又是要基于java环境采用MapReduce做计算，而hadoop通常运行在linux环境上。hive所执行的功能只不过是将你编写的SQL语句解释编译为MapReduce能够执行的程序而已。此外，hive具有把结构化文件映射为数
转载
2023-08-30 11:45:53
51阅读
Hive本身是建立在Hadoop之上的用于处理结构化数据的数据仓库基础工具。它提供一系列的工具用于数据提取、转化、分析、加载。其提供类SQL语言HQL用于处理存储在Hadoop上的海量数据。所以，数据是在HDFS上，计算是MR/Spark，Hive自身并没有承担过多的压力。Hive不需要做集群。1、软件环境：centos6.8：sparknode1、sparknode2、sparknode3、sp
转载
2023-07-12 13:29:50
89阅读
Dockfile文件的内容解释：基于centos镜像，生成带有spenssh-server、openssh-clients的镜像，用户为root，密码为a123456，镜像维护者（作者）为h
原创
精选
2023-06-08 09:33:24
1666阅读
点赞
1评论
1.系统环境VMware-workstation：VMware-workstation-full-16.2.3ubuntu：ubuntu-21.10hadoop：hadoop2.7.2mysql：mysql-connector-java-8.0.19jdk：jdk-8u91-linux-x64.tar（注意要是linux版本的，因为是在linux系统中创建虚拟机）hive：hive1.2.1小技巧
转载
2023-09-04 16:25:31
97阅读
本文探讨了使用 Docker 搭建 Hadoop + Hive + Spark 集群的方法，项目地址在此。在阅读本文前，建议先对 Docker 以及 Docker Compose 有基本的了解。准备工作本项目基于 Docker 和 Docker Compose，搭建的集群包含以下部分：HadoopHiveSpark本项目参考了 Big Data Europe 的一些工作
原创
2021-12-07 16:23:30
10000+阅读
上一篇文章介绍了hive的原理以及实现机。本篇博客开始，博主将分享数据仓库hive工具搭建全过程。一、安装Hive (1)、下载Hive和环境准备： Hive官网地址：http://hive.apache.org/inde
转载
2024-02-03 09:56:20
47阅读
生而有涯而学无涯最近使用VMWare搭建了一个虚拟的Hadoop集群环境，搭建的过程中参考了很多网上大神的资料，在这里记录下本人实践的全过程，用于以后的查询参考使用，参考的资料会在文末贴出对应的链接。集群配置详情hostnameip addressos(Centos7mini)master192.168.224.100Centos7(mini)slave1192.168.224.201Centos
转载
2023-07-12 15:42:12
183阅读
使用腾讯云主机，docker构建集群测试环境。环境1、操作系统： CentOS 7.2 64位网路设置hostnameIPcluster-master172.18.0.2cluster-slave1172.18.0.3cluster-slave2172.18.0.4cluster-slave3172.18.0.5Docker 安装curl -sSL https://get.daocloud.io/
转载
2023-10-13 16:09:50
123阅读
一、虚拟机的安装（Centos 7)1.点击 Centos 7镜像 进行下载 2.安装成功后，利用克隆再克隆两个作为slave1和slave2进行搭建 3. 利用 ifconfig命令，获取三个虚拟机的IP地址：二、搭建集群配置主节点名（master) 在命令行中输入： vi /etc/sysconfig/network 添加一下内容：NETWORKING=yes
HOSTNAME=master配
转载
2023-09-21 22:48:33
166阅读
搭建所用Hadoop java版本hadoop-3.1.3.tar.gz jdk-8u212-linux-x64.tar.gz安装包链接：Hadoop及jdk安装包提取码：icn6首先，我们先下载并且安装好虚拟机准备好三台机器主机名ip地址master192.168.45.110salve1192.168.45.111salve2192.168.45.112 集群按以下要求
转载
2023-09-14 13:59:28
81阅读
一、集群安装条件前置在虚拟机上先准备一个机子 按用前面【安装单机hadoop】 已完成安装jdk,hadoop和ssh、网络等配置环境等。虚拟机和操作系统环境：ubuntu14 + hadoop2.6+jdk1.7+ssh虚拟机：（vmware10） 二、集群安装环境设置Hadoop的安装为分布式模式，考虑到实际条件集群机定为3台（2台也可以）。（1）克隆3个ubuntu实例
转载
2023-08-04 11:24:16
196阅读
概念HDFS分布式文件系统会将用户提交的文件存储在一个服务器集群中 HDFS中有两种重要的服务器软件角色：datanode --》负责存储用户文件的块namenode--》负责记录用户存储的文件的虚拟路径，及文件每一个块的具体位置（哪一块在哪一台datanode服务器上） 安装一个HDFS集群 准备工作：规划：要有一台机器安装namenode &
CentOS6.5mini版hadoop集群搭建流程 CentOS 7 系列： 关闭防火墙：systemctl stop firewalld 禁止防火墙开
