每一次 Hadoop 生态的更新都是如此令人激动 像是 hadoop3x 精简了内核，spark3 在调用 R 语言的 UDF 方面，速度提升了 40 倍 所以该文章肯定得配备上最新的生态hadoop 生态简介期待目标环境OS ：CentOS 7.4组件：Hadoop 3x 及生态YarnMapreduceHDFSZookeeper 3.6.3可选项HiveFlume 1.9Sqoop 2kafk
转载
2023-11-08 18:38:39
67阅读
前言本文主要介绍了 Hadoop 的三种运行模式以及配置的方式。运行模式Hadoop 的运行模式分为三种：Standalone（本地模式/单机模式/local模式）该模式下没有任何守护进程，用户程序和 Hadoop 程序运行在同一个 Java 进程，使用的文件系统是本地文件系统而不是分布式文件系统，此模式下一般用于本地调试。Pseudo-Distributed（伪集群模式）在单机上模拟集群模式，各
转载
2024-03-05 11:10:45
37阅读
先修篇下载Docker可参考该博客的Docker安装 安装Docker可能遇到的一些问题可参考该博客的Docker安装问题操作环境windows : 10Docker : 4.7.0将要拉取的镜像 ： centos 7.6.18101. 安装centos 7.6镜像1.1 搜索centos 7.6镜像docker search centos71.2 拉取镜像docker pull centos:7
转载
2024-09-23 21:50:43
149阅读
network hadoop ：指定该容器使用创建的hadoop网络 --name Master ：
转载
2023-04-02 07:46:44
349阅读
docker hadoopdocker入门实践http://yuedu.baidu.com/ebook/d817967416fc700abb68fca1?pn=1&rf=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DxPpqMcWFb_-7-ceq6vjHMk1r3v21tG5PCM0IMmcfhJzurw8ZmWK3DEuJUSrG0M72Nwhj
转载
2024-10-24 19:07:33
28阅读
一.环境准备1.1.机器规划 主机名 别名 IP 角色9321a27a2b91 hadoop1172.17.0.10NN1 ZK RM7c3a3c9cd595 hadoop2172.17.0.9NN2 ZK RM JOBHISf89eaf2a2548 hadoop3172.17.0.8DN ZK ND28620
1、所需软件所需要的环境包括java，ssh必须保证sshd一直运行， 以便用Hadoop脚本管理远端Hadoop守护进程Windows下的附加软件需求
Cygwin 提供上述软件之外的shell支持。2、安装软件sudo apt-get install ssh
sudo apt-get install rsync由于hadoop是基于java编写的，因此需要安装jdk
3、下载安装参考资料：ht
转载
2023-09-19 04:33:02
108阅读
一、环境选择1，服务器选择阿里云服务器:入门型(按量付费) 操作系统:linux CentOS 6.8 Cpu：1核 内存：1G 硬盘:40G ip:39.108.77.250 2，配置选择JDK:1.8 （jdk-8u144-linux-x64.tar.gz） Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)3，下载地址官网地址: JDK： http://www
转载
2024-04-03 13:06:40
151阅读
学习之前，先把环境安装好,系统使用的是centos6.5系统，1、下载hadoop安装包，地址：http://hadoop.apache.org/releases.html2、解压安装包 tar -zxvf hadoop.tar.gz3、配置环境变量 （1）因为hadoop是java项目，首先配置java虚拟机的，环境变量中添加JAVA_HOME指向java安装路径，网上可
转载
2023-06-14 22:22:47
131阅读
大数据平台生产环境部署指南@(Hadoop)总结一下在生产环境部署Hadoop+Spark+HBase+Hue等产品遇到的问题、提高效率的方法和相关的配置。集群规划假设现在生产环境的信息如下：服务器数量：6操作系统：Centos7Master节点数：2Zookeeper节点数：3Slave节点数：4划分各个机器的角色如下：主机名角色运行进程hadoop1MasterNamenodehadoop2M
转载
2024-03-05 22:47:33
153阅读
hdfs有三种版本：单机版 伪分布式版 全分布式版1.单机版的安装：首先将安装包拖入sftp工具中，解压：tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local配置环境变量：vi /etc/profileexport HADOOP_HOME=/usr/local/hadoop-2.7.1 export PATH=$PATH:$
转载
2023-07-21 14:24:59
69阅读
一、前提条件以下所有操作都基于Docker，需要Docker基础并具备Docker环境 二、备份和恢复镜像先将配置好的Docker容器提交为镜像：[xiaokang@hadoop docker_teach]$ sudo docker commit -a "xiaokang" -m "This is for backup" dadfd67c672d xiaokangxxs/hadoop-commi
原创
2021-12-08 10:06:32
661阅读
一、前置准备 二、集群规划 三、搭建Zookeeper集群 3.1 创建、启动并进入容器在这里大家需要将上一期的五个容器中的前三个提交成镜像，因为我们的端口映射需要做相应的更改（hadoop01、hadoop02和hadoop03）：[xiaokang@hadoop ~]$ sudo docker run -d --name hadoop01 --hostname hadoop
原创
2021-12-08 10:07:37
888阅读
获取已包含Hadoop环境的Docker镜像，可以让我们以一种简便的方式进行大数据处理。Hadoop 提供了分布式存储和处理的能力，而 Docker 则为我们提供了一个轻量、高效的容器化环境。接下来，我将详细介绍在这一过程中所涉及的几个关键步骤。
### 环境预检
在开始前，先确认一下我们的环境是否满足需求。这里有一个【四象限图】来分析硬件兼容性。
```mermaid
quadrantCh
准备工作：准备hadoop-2.7.7.tar.gz、jdk-8u191-linux-x64.tar.gz压缩包，版本可以不同，我这里用的是hadoop-2.7
转载
2021-08-04 12:21:00
449阅读
一、下载 Hadoop二、解压 Hadoop三、设置 Hadoop 环境变量四、配置 Hadoop 环境脚本五、安装 winutils六、重启电脑七、验证 Hadoop 安装效果
原创
2023-08-08 01:25:14
432阅读
点赞
文章目录1.事前准备2.主机互联（namenode和datanode都做）2.1 创建虚拟机2.2 配置网络2.2.1寻找空闲IP地址2.2.2配置ifcfg-eno167777362.2.3 pc端ssh登录linux2.3 实现相互免密登录（namenode和datanode都做）2.3.1修改主机名及主机配置文件2.3.1生成公钥实现免密登录3.配置java jdk（namenode和da
转载
2023-07-25 20:14:25
118阅读
大数据的概念就不在此赘述了，自己看书了解一下~下面说一下Hadoop集群的搭建及配置1.Hadoop相关软件及版本软件版本备注Linux OsCentOS6.864位JDK1.7+64位VMware14pro（10以上的版本都可以啦）Hadoop2.6.5已编译好的安装包Eclipse4.5.164位Eclipse Hadoop插件2.6.0SSH连接工具（本文用Xshell6）62.安装配置虚拟
转载
2023-07-14 16:18:53
86阅读
Hadoop基础之环境搭建环境搭建本地环境可以用于开发的单节点模式，没有分布式的概念伪分布式环境一个节点表示一整个集群，但是分布式的概念，一个节点充当分布式里的所有角色完全分布式一个集群中有N个节点，他们分别充当分布式中不同的角色，完成不同的任务伪分布式环境搭建下载安装包Hadoop官网配制环境变量#set hadoop enviornment
export HADOOP_HOME=/home/b
转载
2023-08-10 13:38:53
77阅读
hadoop 环境搭建引言： 随着人工智能和大数据的热潮的到来，大数据变得越来越火了，坏蛋哥的信念就是致力于大数据的发展和进步，希望能为大数据的发展和推广尽一份绵薄之力。如果要做大数据，那么大数据相关的环境的搭建就是开始的一步。hadoop环境可能是大数据大家最开始搭建的环境吧。对于很多小白，如果盲目的搭建，那么很可能会崩溃，那么坏蛋哥就出一期文章专门讲解搭建大数据环境。首先我们就来搭建大象级别的
转载
2023-07-24 13:58:43
86阅读
