Hadoop简介和历史Hadoop架构体系Master和Slave节点数据分析面临的问题和Hadoop思想 由于工作原因，必须学习和深入一下Hadoop，特此记录笔记。 什么是hadoop？Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文自行实作而成。 Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式：应用程序被
转载
2023-07-12 13:22:53
74阅读
Hadoop官网有一个Hadoop生态圈，都是用动物命名的知识前提分布式存储，分布式技术分布式文件系统master-slave （每一台服务器为一个结点，一主多从）主从架构master（主结点）-----保存文件系统的目录树结构（清单），监控整个集群资源使用情况slave（从结点）-----存放真实的数据 客户端 和分布式文件系统进行通信内部客户端（集群内部）web客户端&n
转载
2024-07-30 15:29:28
23阅读
# 如何配置Hadoop Slave节点的用户名称
## 一、整体流程
首先让我们来看一下配置Hadoop Slave节点用户名称的整体流程：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 进入Hadoop Slave节点 |
| 2 | 打开配置文件hdfs-site.xml |
| 3 | 配置属性dfs.datanode.data.dir |
| 4 | 配置属性d
原创
2024-03-16 04:43:27
11阅读
virtualbox启动hadoopslave节点没有nodemanager的描述
在使用VirtualBox部署Hadoop集群时，我遇到了一个问题：Hadoop的slave节点无法启动NodeManager，导致整个集群的任务调度和执行受到了影响。接下来，我将详细记录解决这个问题的过程，并分享一些相关的技术细节和背景。
### 协议背景
Hadoop是一个开源的分布式计算框架，使用了许多
这篇文章将会逐步介绍 Hadoop 集群的实现原理以及Hadoop集群的拓扑结构。并让大家通过拓扑图的形式直观的了解 Hadoop 集群是如何搭建、运行以及各个节点之间如何相互调用、每个节点是如何工作以及各个节点的作用是什么。明白这一点将会对学习 Hadoop 有很大的帮助。首先，我们开始了解 Hadoop 的基础知识，以及 Hadoop 集群的工作原理。
&n
转载
2023-09-06 09:35:31
273阅读
Hadoop的HDFS文件系统概述Hadoop的HDFS文件系统是一种分布式文件系统，hadoop的核心组件之一。它的设计目标是能够在普通硬件上运行，并且能够处理大量的数据。HDFS采用了主从（Master/Slave）架构，其中有一个NameNode和多个DataNode。
NameNode作为Master节点：负责管理文件系统的命名空间，文件块的映射关系和客户端的访问。DataNode作
转载
2023-08-10 23:40:50
152阅读
用了这么久的hadoop，只会使用streaming接口跑任务，各种调优还不熟练，自定义inputformat ， outputformat， partitioner 还不会写，于是干脆从头开始，自己搭一个玩玩，也熟悉一下整体架构。整体环境：主机Win7 i5 4核 8G内存 笔记本；虚拟机（客户机）采用Centos5.9 （ 用这个的原因是不想用图形界面，并且以后还想试着装一下ICE
转载
2023-11-16 20:48:17
85阅读
一、安装VMware二、centos的安装最好安装centos x7的三、根据hadoop伪分布式的搭建，完全分布式使用hadoop104克隆出来的hadoop101，hadoop102，hadoop103来设置集群。（一）、同时启动hadoop101,102,103。（二）、对主机进行改动1.将其ip地址改动为ip addr # 查看IP地址
vi /etc/sysconfig/netw
转载
2023-09-21 18:32:45
65阅读
免秘钥登录配置Xshell：root账户登录HadoopMaster修改hosts:192.168.52.128 master192.168.52.130 slave192.168.52.129 slave1输入命令ping slaveping slave1在HadoopSlave及HadoopSlave1执行同样的操作。cat /etc/hosts验证一下：生成秘钥：s...
原创
2019-08-01 15:15:12
27阅读
一、环境说明 1、虚拟机平台：VMware10 2、Linux版本号：ubuntu-12.04.3-desktop-i386 3、JDK：jdk1.7.0_51 4、Hadoop版本号：2.2.0 5、集群节点：3个，各自是hadoopMaster。hadoopSlave1。hadoopSlave2
转载
2017-05-08 14:03:00
220阅读
2评论
1、下载Centos7Jdk-1.7 or 1.8hadoop-2.7.2.tar.gz2、准备主机规划家庭IP 主机名用户作用192.168.1.113 cancer01hadoopmaster192.168.1.115 cancer02hadoopslave01192.168.1.119 cancer03hadoopslave02添加用户、组
此文档针对es在centos7环境3节点部署，3节点ip分别为：172.16.10.102.172.16.10.103,172.16.10.104一、增加host每个节点下增加host配置172.16.10.102HadoopMaster172.16.10.103HadoopSlave1172.16.10.104HadoopSlave2二、然后下载es安装包cd/optwgethttps://ar
原创
2019-12-11 17:36:53
1375阅读
一、前期准备1. 三台主机都需要安装好jdk2. 三台主机都要配置好zookeeper3. 准备好kafka压缩包二、kafka集群的安装1. 上传压缩包2. 解压 3. 创建消息目录4. 修改server.properties文件5. 分发 kafka安装目录6. 修改HadoopSlave01,HadoopSlave02下的kafka配置文件server.propertie
转载
2023-09-02 22:16:32
138阅读
ssh免密登陆参考之前的文章：ssh免密登陆部署(https://blog.51cto.com/u_15327484/4113215)修改主机名分别在三台机器中，以root用户修改主机名为hadoopmaster、hadoopslave1、hadoopslave2:hostnamectlsethostnamehadoopmasterhostnamectlsethostnamehadoopslave
原创
2021-10-07 17:16:36
1100阅读
一、环境说明1、虚拟机平台：VMware102、Linux版本：ubuntu-12.04.3-desktop-i3863、JDK：jdk1.7.0_514、Hadoop版本：2.2.05、集群节点：3个，分别是hadoopMaster，hadoopSlave1，hadoopSlave2 注明：文中fyzwjd是虚拟机用户名。二
转载
2023-11-24 17:18:16
34阅读
目录写在前面一、创建虚拟机，安装Centos二、VMware VMnet8模式共享主机网络配置三、克隆集群节点HadoopSlave1与HadoopSlave2四、Linux系统配置五、Hadoop的部署配置六、Hadoop集群的启动写在前面 搭建Hadoop集群的过程比较复杂，本文旨在给大家一个参考过程，也欢迎大家在评论区交流自己的心得体会及遇
转载
2023-07-12 12:00:54
241阅读
CentOS 7安装Hadoop一、启动两台虚拟客户机1.打开VMware Workstation142.打开之前已经安装好的虚拟机：HadoopMaster和HadoopSlave
二、Linux系统配置
以下操作步骤需要在HadoopMaster和HadoopSlave节点上分别完整操作，都使用root用户，从当前用户切换root用户的命令如下：
[lyu@mas
转载
2023-08-03 20:23:36
1469阅读
Hadoop完全分布式搭建环境： 使用的是 centos6.5 hadoop-3.3.0 ，jdk版本推荐使用Jdk-1.8.0_202否则容易出现版本不兼容 准备三台主机：HadoopMaster,HadoopSlave1,HadoopSlave2！！注：除了一些系统文件用root用户编辑外，其他都用普通用户来编辑（可以用vim,sudo来编辑）,否则要出现权限问题步骤： 一．主机配置 1
转载
2024-10-12 13:59:55
29阅读
建立Linux虚拟机(全节点)客户机操作系统：CentOS-6.5-x86_64。网络连接：host-only。Connecet automaticcally：打勾。hostnameAddressNetmaskGatewayhadoopmaster192.168.169.100255.255.255.0hadoopslave1192.168.169.101255.255.255.0hadoopsl
转载
2024-01-20 23:18:42
30阅读
一、前期准备二、环境搭建三、 集群测试 四、问题总结zookeeper-3.4.5.tar.gz下载链接一、前期准备1. 所需环境主机名ipZoopKer存放的位置HadoopMaste（主节点）192.168.141.184/home/hadoop/software/zookeeper-3.4.5HadoopSlave01（从节点）192.168.141.90/home/hadoop/
转载
2024-05-02 08:12:51
90阅读
