1 制作hadoop镜像 该博客中只参考制作镜像部分，固定IP及启动集群的部分应该跳过。 这里注意，在做好的镜像里，要安装 which 工具，否则在执行 hdfs 命令时会报命令不存在异常。yum install which -y2 启动容器docker run --name hmaster --hostname hmaster --network hadoop -d -P \
-
转载
2023-11-19 16:00:31
55阅读
Hadoop 学习之集群安装(上)将配置的伪分布模式的虚拟机克隆两份并更名为centos_node2和centos_note3分别打开三个虚拟机，第一个基本不需要配置了，现在主要配置centos_note2和centos_note3的配置。1. 首先修改IP地址和主机名因为centos是hadoop1和192.168.100.11，在这里设置centos_note
转载
2024-09-09 15:42:59
8阅读
早在四月份的时候，就已经开了这篇文章。当时是参加数据挖掘的比赛，在计科院大佬的建议下用TensorFlow搞深度学习，而且要在自己的hadoop分布式集群系统下搞。当时可把我们牛逼坏了，在没有基础的前提下，用一个月的时间搭建自己的大数据平台并运用人工智能框架来解题。结果可想而知：GG~~~~（只是把hadoop搭建起来了。。。。最后还是老老实实的写爬虫）当时搭建是用VM虚拟机，等于是在17台机器上
转载
2024-06-25 13:57:28
344阅读
导语 由于Hadoop是为集群而设计的软件，所以在学习和使用的过程中难免会遇到在多台机器上配置Hadoop的情况，这个对于初学者来说会造成很多的障碍。主要的障碍有两个；昂贵的计算机集群。多个计算机构成的集群环境需要昂贵的硬件。难以部署和维护。在众多的机器上都要部署相同的软件环境是一个比较大的工程量。而且比较不灵活，需要修改的话很多的内容都需要修改。 为了解决这个问题，现在有一个比较成熟的解决
转载
2023-09-05 09:35:23
121阅读
使用腾讯云主机，docker构建集群测试环境。环境1、操作系统： CentOS 7.2 64位网路设置hostnameIPcluster-master172.18.0.2cluster-slave1172.18.0.3cluster-slave2172.18.0.4cluster-slave3172.18.0.5Docker 安装curl -sSL https://get.daocloud.io/
转载
2023-10-13 16:09:50
123阅读
目录Docker中Hadoop集群搭建环境网络设置安装docker安装OpenSSH免密登录Ansible安装软件环境配置配置hadoop运行所需配置文件Hadoop 启动问题 Docker中Hadoop集群搭建环境1、操作系统： CentOS 7 64位网络设置hostnameIPcluster-master172.20.0.2cluster-slave1172.20.0.3cluster-s
转载
2023-09-03 01:22:36
62阅读
一、软件准备1、基础docker镜像：ubuntu，目前最新的版本是182、需准备的环境软件包：(1) spark-2.3.0-bin-hadoop2.7.tgz
(2) hadoop-2.7.3.tar.gz
(3) apache-hive-2.3.2-bin.tar.gz
(4) jdk-8u101-linux-x64.tar.gz
(5) mysql-5.5.45-linux2.6-x86_
转载
2023-07-12 15:09:22
101阅读
本次安装系统为CentOS7,搭建随笔。。。docker-redis集群搭建，扩容缩容，redis数据分区规则（1、哈希取余分区，2、一致性哈希分区，3、哈希槽分区（共16384个槽位））本次采用哈希槽分区的方式1、获取redis镜像，若没有镜像，请先拉取镜像（可选） docker pull redis:6.0.82、安装redis服务（多个） docker run -d --name redis
转载
2023-07-11 14:05:44
0阅读
一.Compose的相关知识 1. Compose的相关概念Compose是单机编排容器集群或者是分布式服务容器的应用工具。通过Compose，可以使用YAML文件来配置应用程序的服务。然后，使用一个命令，就可以从配置中创建并启动所有服务。Docker-Compose是一个容器编排工具。通过一个.yml或.yaml文件，将所有的容器的部署方法、文件映射、容器端口映射等情况写在
转载
2023-08-08 11:21:24
136阅读
概念HDFS分布式文件系统会将用户提交的文件存储在一个服务器集群中 HDFS中有两种重要的服务器软件角色：datanode --》负责存储用户文件的块namenode--》负责记录用户存储的文件的虚拟路径，及文件每一个块的具体位置（哪一块在哪一台datanode服务器上） 安装一个HDFS集群 准备工作：规划：要有一台机器安装namenode &
前几天写了文章“Hadoop 集群搭建”之后，一个朋友留言说希望介绍下如何使用Docker部署，这个建议很好，Docker不仅在生产环境威力巨大，对于我们在自己电脑中搭建学习实验环境更是非常便利搭建一个集群环境时需要多台服务器，对于我们个人，这通常是个门槛，需要使用虚拟机，安装操作系统，然后运行起来多个虚机安装操作系统是个不太轻松的任务，并且运行多个虚机对个人电脑性能也有一定要求，这些门槛影响了很
原创
2021-04-22 11:04:30
267阅读
一、主机规划3台主机：1个master、2个slaver/workerip地址使用docker默认的分配地址：master：主机名： hadoop2、ip地址： 172.17.0.2slaver1：主机名： hadoop3、ip地址： 172.17.0.3主机名： hadoop4、ip地址： 172.17.0.4二、软件安装1、在docker中安装centos镜像，并启动centos容器，
原创
2022-04-06 17:25:11
235阅读
Docker部署Hadoop集群 Docker部署Hadoop集群 2016-09-27 杜亦舒 前几天写了文章“Hadoop 集群搭建”之后，一个朋友留言说希望介绍下如何使用Docker部署，这个建议很好，Docker不仅在生产环境威力巨大，对于我们在自己电脑中搭建学习实验环境更是非常便利 搭建一
原创
2022-07-22 21:00:48
47阅读
# Hadoop集群Docker安装指南
## 引言
Hadoop是一个强大的开源框架，用于处理和存储大数据。在现代数据处理环境中，Docker提供了一种便捷的方式来开发、测试和部署应用程序。那么，如何在Docker中安装和配置Hadoop集群呢？本文将通过具体的步骤和代码示例为您详细讲解。
## 安装准备
确保您已安装以下软件：
- Docker
- Docker Compose
在
原创
2024-10-29 05:42:54
9阅读
一、主机规划3台主机：1个master、2个slaver/workerip地址使用docker默认的分配地址：master：主机名： hadoop2、ip地址： 172.17.0.2slaver1：主机名： hadoop3、ip地址： 172.17.0.3主机名： hadoop4、ip地址： 172.17.0.4二、软件安装1、在docker中安装centos镜像，并启动centos容器，安装ss
原创
2018-07-26 17:27:08
10000+阅读
点赞
### Docker Hadoop集群搭建
#### 概述
在本文中，我们将介绍如何使用Docker搭建Hadoop集群。Hadoop是一个开源的分布式存储和计算系统，可以处理大规模数据。Docker是一个轻量级容器技术，可以帮助我们快速构建、部署和运行应用程序。
#### 步骤概览
| 步骤 | 操作 |
| ---- | ---- |
| 步骤一 | 拉取Hadoop镜像 |
| 步骤二
原创
2024-05-16 12:04:10
253阅读
目录一、配置Docker网络二、docker安装centos三、配置ssh免密输入四、安装Java环境五、安装zookeeper六、安装hadoop3.0.0七、初始化并启动集群八、打包镜像推送到阿里云仓库一、配置Docker网络 1、win10配置路由表（win10版docker配置） &nb
原创
2022-03-18 13:57:28
849阅读
点赞
2评论
前几天写了文章“Hadoop 集群搭建”之后，一个朋友留言说希望介绍下如何使用Docker部署，这个建议很好，Docker不仅在生产环境威力巨大，对于我们在自己电脑中搭建学习实验环境更是非常便利 搭建一个集群环境时需要多台服务器，对于我们个人，这通常是个门槛，需要使用虚拟机，安装操作系统，然后运行起 ...
转载
2021-07-19 19:45:00
820阅读
2评论
在Kubernetes（K8S）环境中使用Docker安装Hadoop集群是一种常见的部署方式，它能够方便快捷地搭建和管理大规模的分布式存储和计算集群。对于刚入行的小白来说，了解这种部署方式可以帮助他更好地理解K8S和Hadoop的基本原理，同时也提高他对容器化技术的熟练程度。接下来，我将向你介绍如何通过Docker在K8S环境中安装和配置Hadoop集群。
首先，让我们来看看整个过程的步骤，以
原创
2024-04-30 10:13:16
86阅读
# 使用 Docker Compose 构建 Hadoop 集群
在大数据时代，Apache Hadoop 是一个重要的开源框架，广泛应用于分布式存储和大规模数据处理。然而，配置和管理 Hadoop 环境常常非常复杂。使用 Docker 和 Docker Compose，我们可以简化这一过程，快速搭建一个 Hadoop 集群。在本文中，我们将通过代码示例来展示如何使用 Docker Compos
原创
2024-09-03 05:22:36
136阅读
