最近课堂作业需要使用hadoop环境，正好前段时间学了一下docker教程的用法，而自己又只有一台电脑，所以就趁着这次机会学习下怎么利用docker搭建伪分布式的hadoop环境。 我主要时参考这篇博主的教程,教程很好，跟着这个教程大部分都是很顺利的，但是加上自己docker的使用也不太熟练，配置过程中难免遇到一些问题，所以就用这篇博客记录一下。启动动并挂载本地目录docker run -it -
转载
2024-05-30 11:34:39
53阅读
# 使用Docker搭建Spark集群连接远程HDFS
在大数据处理领域，Apache Spark 以其强大的计算能力和出色的性能，越来越受到开发者的青睐。而Hadoop分布式文件系统（HDFS）则为数据的存储和管理提供了高效的解决方案。将Spark与HDFS结合，可以充分发挥它们的优势。在本文中，我们将通过Docker搭建一个Spark集群，并使其能够连接到远程HDFS。
## 环境准备
HDFS 集群由一个主/从架构组成，单个运行 NameNode 进程的服务器为主节点服务器，多个运行 DataNode 进程的服务器为从节点服务器安装准备主机名IP地址服务器node-01192.168.229.21NameNode服务器、DataNode服务器node-02192.168.229.22DataNode服务器node-03192.168.229.23DataNode服务器安装步骤1
转载
2024-05-07 11:05:31
61阅读
搭建spark和hdfs的集群环境会消耗一些时间和精力，今天咱们就借助docker，极速搭建和体验spark和hdfs的集群环境
推荐
原创
2022-08-17 00:04:38
1660阅读
1评论
二.Hadoop集群搭建本文是在《Hadoop集群搭建之Linux部分》基础上继续阐述的。本文中安装的Hadoop版本信息为：hadoop-2.8.31.HDFS核心配置本文中，在HDFS部分一些非常重要的核心参数配置如图1-1所示。对HDFS核心参数配置简述如下：namenode在主机名为cts01机器上运行；namenode存元数据的本地目录为：/root/hdpdata/name/；data
转载
2023-10-27 16:51:28
78阅读
从0开始搭建Hadoop2.x高可用集群（HDFS篇）演示目标演示环境注意事项准备虚拟机关闭防火墙检查系统时间修改host设置免密登录卸载OpenJDK安装软件准备HDFS配置cote-site.xml配置hdfs-site.xml配置slaves配置hadoop-env拷贝配置准备Zookeeper配置zoo.cfg启动集群启动Zookeeper集群启动HDFS集群首次启动验证高可用（HA）
转载
2024-03-24 11:18:35
121阅读
4.1 hdfs集群组成结构：4.2 安装hdfs集群的具体步骤：一、首先需要准备N台linux服务器学习阶段，用虚拟机即可！先准备4台虚拟机：1个namenode节点 + 3 个datanode 节点二、修改各台机器的主机名和ip地址主机名：hdp-01 对应的ip地址：192.168.33.61主机名：hdp-02 对应的ip地址：192.168.33.62
转载
2024-05-07 14:28:24
112阅读
前言呵呵 最近有一系列环境搭建的相关需求记录一下hdfs 三个节点 : 192.168.110.150, 192.168.110.151, 192.168.110.152150 为
原创
2024-03-14 13:58:31
80阅读
# Docker HDFS集群的搭建与使用
随着大数据技术的发展，Hadoop生态系统中的HDFS（Hadoop分布式文件系统）已经成为了一个不可或缺的组件。若想高效地利用HDFS，常用的方法是将其部署在Docker容器中。通过Docker，我们可以轻松构建和管理HDFS集群。本文将介绍如何在Docker中搭建HDFS集群，并给出相关代码示例。
## 什么是HDFS？
HDFS是Hadoop
HDFS只是Hadoop最基本的一个服务，很多其他服务，都是基于HDFS展开的。所以部署一个HDFS集群，很很核心的一个动作，也是大数据平台的开始。
原创
精选
2017-10-11 16:44:40
6338阅读
点赞
首先需要构建三台虚拟机（这里是示范），构建的流程可以参考这篇文章。在完成上篇文章的Hadoop完全分布式搭建以后，就可以做接下来的操作——搭建Zookeeper集群首先下载Linux版的Zookeeper链接：https://pan.baidu.com/s/1_alxqyJMAiCkORtM37RT0Q 提取码：hjl4 下载完以后使用命令进行解压将文件上传至/
转载
2024-03-01 21:38:16
121阅读
Harbor 是一个基于 Apache 协议的开源软件，主要开发语言为 Go。Harbor 是由 VMware 公司开源的企业级的Docker Registry 管理项目，它包括权限管理(RBAC)、LDAP、日志审核、管理界面、自我注册、镜像复制和中文支持等功能，具有 web 管理功能。Docker 容器应用的开发和运行离不开可靠的镜像管理，虽然 Docker 官方也提供了公共的镜像仓库，但是从
转载
2023-07-21 17:01:17
52阅读
RocketMQ(2)—Docker集群部署RocketMQ
=前言=1、因为自己只买了一台阿里云服务器，所以RocketMQ集群都部署在单台服务器上只是端口不同，如果实际开发，可以分别部署在多台服务器上。
2、这里有关 Broker 和 NameServer 分别都做了了集群部署(各部署两个），且BroKer是按两主进行部署。之所以选用Docker部署主要还是考虑 ：通过Doc
转载
2023-08-17 09:09:21
138阅读
Docker搭建Zookeeper集群（伪）第一种方式（在Docker中模拟在liunx单机）第一步首先找一个目录创建三个文件夹，分别放置三个zk的zoo.cfg配置文件，例如我放在了/home/zookeeper/home/zookeeper/
|-- zoo1
| `-- zoo.cfg
|-- zoo2
| `-- zoo.cfg
`-- zoo3
`-- zoo.cfg由于
转载
2024-04-10 12:17:03
48阅读
docker部署apache2 目录docker部署apache2**快速部署直接看命令就行：**1.启动ubuntu16.04容器2.设置docker镜像自动启动并且镜像内apache2服务自动启动 快速部署直接看命令就行：
docker run -itd -v /mnt:/mnt --name ubuntu16 -p 81:81 ubuntu:16.04开启docker容器
sudo dock
转载
2023-08-31 22:10:53
158阅读
1. 环境准备准备好Linux系统机器，并安装好docker，阅读这篇文章前请先了解清楚docker的基本知识并且会熟悉运用docker的常用命令。安装好并启动docker后就可以开始搭建redis了2. docker容器下安装redis本篇文章我们安装redis6.0.6版本，执行以下命令直接下载redis6.0.6版本镜像#dokcer pull 镜像名:版本号
docker pull red
转载
2023-07-11 13:44:38
126阅读
1、先用docker下载镜像 2、宿主机上创建redis配置文件和数据挂载目录,如:/data/redis/conf0/redis.conf , /data/redis/data0;配置文件不要设置密码 配置文件内容: daemonize no
appendonly yes
#requirepass xxx
port 7007
timeout 0
loglevel debug
data
转载
2023-10-19 11:29:12
93阅读
如何搭建Docker集群
作为一名经验丰富的开发者，我将教会你如何搭建Docker集群。在开始之前，我们先来了解一下整个流程，并用表格展示每个步骤。
| 步骤 | 描述 |
| ------ | ------ |
| 步骤1 | 安装Docker |
| 步骤2 | 配置主机 |
| 步骤3 | 创建Docker Swarm集群 |
| 步骤4 | 添加节点 |
| 步骤5 | 部署服务 |
原创
2024-01-16 11:13:03
62阅读
一、环境准备1、HBase历史版本Index of /dist/hbase2、HBase官方文档Apache HBase ™ Reference Guide3、LinuxSSH免密登录大数据入门之 ssh 免登录_q
原创
2022-03-15 11:23:55
1076阅读
docker搭建rabbit集群RabbitMQ 集群搭建1 集群方案的原理2 集群搭建1. 启动三个启动RabbitMQ2. 进入RabbitMQ容器m1，重置rabbitmq服务3. 进入RabbitMQ容器m2，加入集群：连接节点1rabbitmq服务4. 进入RabbitMQ容器m3，加入集群：连接节点1rabbitmq服务5.启动完成查看集群状态3 集群存在问题4 操作集群1 配置文件
转载
2023-08-18 17:26:42
135阅读
