本文将开始正式介绍使用Mac版的Docker搭建Hadoop集群，基于的原始镜像是java:8，而不是hadoop，目的就是将虚拟机搭建集群的方式完全使用docker容器实现。如果是基于hadoop镜像，步骤将变得更加简单，可以参考docker 容器实现 hadoop分布式集群部署。前一篇文章已经做好了准备工作，接下来的工作主要是修改配置文件，假设当前已经在安装好的hadoop路径下，进入etc/
转载
2023-07-11 12:52:29
141阅读
本文章主要介绍在macos的docker搭建hadoop集群的简单记录，没有对安装docker，下载hadoop安装包等做过多的介绍。如果感性兴趣可自行查阅相关文章（比较基础）。创建docker网桥本文也没有介绍，最好先了解一下网桥相关知识。
不想从头制作镜像的朋友可以使用我做好的镜像（hadoop3.2.1）：docker pull registry.cn-hangzhou.aliyuncs.c
转载
2023-08-22 15:59:47
100阅读
一、设置ssh免密登录首先打开mac的系统偏好设置->共享->勾选远程登录1.打开终端terminal，输入命令：ssh-keygen -t rsa，一直回车即可 2.查看生成的公钥和私钥cd ~/.ssh
ls会看到~/.ssh目录下有两个文件： ①私钥：id_rsa ②公钥：id_rsa.pub3.将公钥内容写入到~/.ssh/authorized_keys中cat ~/.ssh/
转载
2023-08-06 22:06:23
162阅读
# 实现mac hadoop docker
## 整体流程
首先，我们需要在mac上安装Docker，然后我们将创建一个Hadoop容器并运行。最后，我们将使用Hadoop容器来运行一个简单的MapReduce程序。
下面是整个过程的步骤表格：
| 步骤 | 操作 |
| ------ | ------ |
| 1 | 安装Docker |
| 2 | 下载Hadoop镜像 |
| 3 |
原创
2024-03-18 05:03:18
76阅读
Hadoop是一个用Java开发的开源框架，它允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器，每个都提供本地计算和存储。特别适合写一次，读多次的场景。Hadoop一般用于对大量数据执行完整统计分析的应用程序。Hadoop架构图： HDFS：分布式文件系统 Hadoop Distributed File
转载
2023-09-04 15:49:22
40阅读
文章目录背景环境前置知识安装过程#bug1#bug2#bug3 背景学习一项技能的最好方式自然是理解+实践，在了解了 hadoop 的基本概念后我开始尝试在本地搭建一个集群环境用于进一步学习。 但是经过尝试后发现想在 MacOS 中搭建一个集群比我想象中困难得多，其中也有一部分原因是我对 macOS 系统不太熟悉，可谓是一坑未填一坑又起了。经过不懈努力终于搭建了一个基于 docker 的 had
转载
2024-03-11 15:45:46
45阅读
# 在Mac环境下使用Docker搭建Hadoop 3集群教程
## 1. 整体流程
使用Docker在Mac环境下搭建Hadoop 3集群的过程可以分为以下几个步骤：
```mermaid
erDiagram
Docker --> Hadoop: 拉取Hadoop镜像
Docker --> Zookeeper: 拉取Zookeeper镜像
Hadoop --> Na
原创
2024-03-17 04:11:13
126阅读
# 如何在Mac上使用Docker安装Hadoop
## 一、整体流程
在Mac上使用Docker安装Hadoop主要包括以下几个步骤：
1. 准备Docker环境
2. 下载Hadoop镜像
3. 创建Hadoop容器
4. 配置Hadoop
5. 启动Hadoop集群
下面我们来逐步进行详细介绍。
## 二、具体步骤及代码演示
### 步骤一：准备Docker环境
首先确保你的M
原创
2024-03-02 06:58:31
564阅读
一、Docker下载Ubuntu：1.首先，需要安装Docker2.现在的 Docker 网络能够提供 DNS 解析功能，我们可以使用如下命令为接下来的 Hadoop 集群单独构建一个虚拟的网络：sudo docker network create --driver=bridge hadoop使用下面这个命令查看 Docker 中的网络，可以看到刚刚创建的名为 hadoop 的虚拟桥接
转载
2022-01-21 18:59:00
2089阅读
Hadoop是学大数据必须用到的框架，而hadoop集群搭建是首要步骤。一般的集群搭建都要用到虚拟机，而虚拟机软件下载安装破解本就是一件费时费力的事，而且一个虚拟机软件同时运行多个linux虚拟机可能会让电脑很卡，因此这里尝试使用docker容器构建hadoop集群，模拟真实生产场景中的多个节点。首先hadoop框架需要实现安装jdk，这里直接使用java:8镜像运行容器，可以直接拉取然后运行容器
转载
2023-07-11 01:06:29
13阅读
为了方便以后的使用，我们打算将单机版的Hadoop部署在Docker中。我们主要依照的是两个教程，一个是Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04还有一个是Hadoop: Setting up a Single Node Cluster.。首先安装远程控制软件，主要是为了往docker中传输文件，当然使用docker自身的命令也是可以做到的，所以这个远
转载
2024-08-02 11:09:02
70阅读
macbook docker搭建hadoop集群背景环境项目说明READMEATTENTION:项目启动：项目脚本说明：正常启动项目进程：控制台错误记录：hadoop 错误namenode启动失败hbase 错误anaconda错误hive错误zookeeper错误hadoop0连接不上mysql容器实例启动页面端hadoopnamenode localhost:9870datanode loc
转载
2023-07-20 16:28:53
157阅读
一.环境准备1.1.机器规划 主机名 别名 IP 角色9321a27a2b91 hadoop1172.17.0.10NN1 ZK RM7c3a3c9cd595 hadoop2172.17.0.9NN2 ZK RM JOBHISf89eaf2a2548 hadoop3172.17.0.8DN ZK ND28620
Mac OS使用brew安装Hadoop3.x及环境配置#Java/Hadoop安装以下内容针对的是macOS X系统下安装配置Hadoop，参考了其他前辈的经验以及尚硅谷的大数据培训视频Hadoop安装1.1安装准备一：Java安装Hadoop是基于Java开发的，所以安装Hadoop前需要安装好Java，也即JDK。直接在Java官网下载DMG安装包，安装步骤安装即可，结束后在终端输入命令测试
转载
2023-08-26 08:11:54
65阅读
换了macbook pro之后，要重新安装hadoop，但是mac上的jdk跟windows上的不同，导致折腾了挺久的，现在分享出来，希望对大家有用。一：下载jdk选择最新版本下载，地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html安装完成之后，打开终端，输入java -version ,出现类似如下说明安装成
转载
2024-04-11 08:15:39
154阅读
0.准备工作下载 centos[root@bogon soft]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
docker.io/centos latest d123f4e55
转载
2024-06-24 08:31:22
47阅读
首先声明，以下的所有配置都是基于VMWare Fusion搭建，倘如没下载此软件，请自行下载。第一步 环境准备 此时，我已经默认你有了一台虚拟机了（如果没有，请自行下载）。在启动第一台虚拟机的时候，这个时候，你的虚拟机是无法ping通外网的，因为没和mac网关相关联。首先，查看你的mac网关ip和子网掩码。使用command+空格输入ter显示出终端操作界面，输入如下指令即可（这时，请不要关闭终端
转载
2023-12-23 20:18:54
151阅读
大数据-玩转数据-python开发spark(pycharm)环境搭建说明： 需要在windows系统下开发spark程序，然后迁移程序到linux生产环境运行。1.安装好JDK下载并安装 jdk-17_windows-x64_bin.exe配置环境变量： JAVA_HOME，值为Java安装路径 C:\Program Files\Java\jdk-17.0.1;系统变量CLASSPATH .;%
转载
2024-02-22 16:14:53
71阅读
有几位用Mac的小伙伴希望我可以更新一些Mac的软件，奈何学生党囊中羞涩，因此也就诞生今天的这篇Mac虚拟机安装教程。此安装方法 是在windows环境下，玩转虚拟机，安装Mac OS系统，对于开发者或者苹果系统爱好者，是不错的选择！下面就以我安装过程为例！F1：下载安装所需文件F2：安装Vmware和插解锁插件unlockerF3：安装MAC系统F4：配置网络连接01PART安装环
转载
2023-09-06 19:53:00
154阅读
以此记录自己使用Mac学习hadoop的心酸过程。网上有很多零零散散的教程，遇到的问题各不相同，希望我也能为大家提供一点帮助。一、准备模版虚拟机1.配置静态IP地址vi /etc/sysconfig/network-scripts/ifcfg-ens160进入后配置如下：ONBOOT=yes
BOOTPROTO=static
IPADDR=172.16.6.134
GATEWAY=172.16.6
转载
2023-11-12 15:45:32
288阅读
