目录1.1.1 完全分布式介绍1.1.2 平台软件说明1.1.3 守护进程布局1.2.1 集群搭建准备1.2.2 总纲1.2.3防火墙关闭1.2.4 主机映射1.2.5 免密登陆1.2.6 jdk安装和hadoop安装及环境配置1.3.1 配置文件1.core-site.xml2.hdfs-site.xml3.hadoop-enc.sh4.workres5. 分发1.3.2 格式化集群1
转载
2023-07-12 12:10:11
87阅读
搭建集群的模式有三种1.伪分布式：在一台服务器上，启动多个线程分别代表多个角色(因为角色在集群中使用进程表现的)
2.完全分布式：在多台服务器上，每台服务器启动不同角色的进程，多台服务器构成集群
3.高可用的完全分布式这篇文章是对完全分布式集群的搭建，采用的是centOS6.5版本的系统我使用了四台虚拟机，暂且称为node1,node2,node3,node4;1.首先需要修改静态IP1.因为
验证hadoop集群构建成功Step_1:通过Master节点格式化集群的文件系统：Step_2:启动hadoop集群：Step_3:停止Hadoop集群：此
原创
2022-06-18 00:17:43
368阅读
hadoop的基础知识我就不在这里介绍了，任何有关hadoop书籍中都有非常详
原创
2023-03-22 22:42:01
85阅读
目录一、前言二、安装及配置虚拟机1、在个人计算机上安装及配置Linux虚拟机2、使用Xshell工具通过远程访问的方式对虚拟机进行管理3、配置本地YUM源并在线安装常用的软件包三、搭建Hadoop伪分布式集群1、配置免密登录2、HDFS的相关配置3、YARN的相关配置 4、Web端访问 一、前言秉承着学习的态度去写下我在学习Hadoop的一些心得，若有不足之处，还请各位多多包涵
一、Hadoop集群安装前的准备基础环境四台Centos6.5
IP地址：
192.168.174.128
192.168.174.129
192.168.174.130
192.168.174.131
四台主机新建hadoop用户并实现ssh免密登陆
iptables关闭和selinux为disabled1.修改主机名和ip地址映射为了后面操作方便，修改主机名分别为hadoop01、hadoop
转载
2023-07-13 16:59:35
85阅读
文章目录前言准备伪分布式特点JDK 下载和环境配置配置虚拟机网络环境配置Hadoop的环境下载Hadoop上传并解压安装配置Hadoop环境变量修改hadoop配置文件配置hadoop用户免密登录启动Hadoop格式化hdfs文件系统启动hdfs启动yarn启动JobHistory Server（MR）前言准备Win10上通过VMware12 + Centos7准备好了基本环境，配置虚拟机的子网I
转载
2023-06-30 14:36:28
144阅读
入门03_搭建分布式集群1.克隆三台机器1.1 关于虚拟机的移除和删除1.2 分别配置三台虚拟机2. 集群配置2.1 跨机器拷贝/同步脚本2.1.1 scp（secure copy）安全拷贝工具2.1.2 rsync远程同步工具2.1.3 xsync集群分发脚本2.2 SSH无秘登陆配置2.2.1 免密登录原理2.2.2 免密登录配置2.2.3 .ssh文件夹下（~/.ssh）的文件功能解释2.
转载
2023-07-24 13:28:57
104阅读
一、Hadoop集群(完全分布式)1. 准备工作1.1 拿模板机克隆三台虚拟机(DT100,DT101,dt102),其中DT100作为master,DT101,102作为slavesA.在master安装必要工具yum -y install vim
yum -y install lrzszB.上传jdk和hadoop安装包到/opt/softwareC.创建普通用户dt,修改密码为dtusera
转载
2023-09-16 02:41:24
124阅读
Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。要理解HDFS的内部工作原理，首先要理解什么是分布式文件系统。1.分布式文件系统 多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题，这样的系统我们称
转载
2023-09-14 22:07:14
47阅读
Hadoop系统分布式集群搭建方法 记得以前学习hadoop时，互联网上有不少有关Hadoop环境搭建的方法，但很多语焉不详，步骤不清晰。下面是本人亲自搭建hadoop完全分布式系统环境的笔记，沉落硬盘已久，闲来无事，现整理后发到博客上，和博友共勉，希望对hadoop初学者有所帮助，欣喜不已！1. linux操作系
转载
2023-07-25 18:50:07
88阅读
Hadoop集群完全分布式搭建（Centos7）前期准备虚拟机三台：master、slave1、slave2，记下它们的IP、子网掩码、网关一、先进行网络的配置关闭三台虚拟机的防火墙(三台都要关闭)，代码如下：sudo systemctl stop firewalld.service
sudo systemctl disable firewalld.service查看防火墙状态，代码如下：sudo
1、 安装虚拟机和操作系统 VMware-workstation-full-10.0.0 或 VirtualBox-4.2.18-88781-Win 下载VMware 下载VirtualBox ubuntu-13.04-server-amd64.iso 下载ub
原创
2013-12-28 23:55:06
443阅读
Linux安装，环境搭建：1.安装VM2.安装CentOS_6.5虚拟机，硬盘空间设置为10G3.设置网络连接：选择VM-编辑-虚拟网络编辑器-更改设置，选择名称VMnet8移除网络，再添加VMnet8网络，选择NAT模式，点击应用4.设置虚拟机网络连接：右击虚拟机右下角网络适配器-设置-网络适配器，先选择桥接模式，再选择NAT模式，对IP网段进行自动获取5.设置虚拟机IP地址，用root用户：c
原创
2017-09-22 13:53:32
561阅读
点赞
创建节点的两种方式传统使用iso镜像的方式创建多个节点以完整的原型机为基础，做克隆本文使用的方法为第二种：对已经进行伪分布式的机器(node101)进行克隆两次 如何进行伪分布式集群搭建：hadoop学习之HDFS文件系统——01伪分布式集群搭建1、创建节点鼠标右键伪分机器->管理->克隆->虚拟机中的当前状态->创建完整克隆->填写虚拟机名称以及选择虚拟机存储位置
转载
2023-09-14 13:20:42
52阅读
hadoop集群搭建前的准备（一定要读）：http://blog.51cto.com/14048416/2341450hadoop分布式集群搭建：1.集群规划：2.具体步骤：（1）上传安装包，并解压到相关目录：[hadoop@hadoop01home]$putc:/hadoop-2.6.5-centos-6.7.tar.gz[hadoop@hadoop01home]$tar-zxvfhadoop-
原创
2019-01-11 12:04:21
882阅读
HAdoop集群实战一:Zookeeper集群部署HAdoop集群实战二:Hadoop集群部署HAdoop集群实战三:Namenode高可用HA部署HAdoop集群实战四:Hbase集群部署HAdoop集群实战五:Hive集群部署HAdoop集群实战六:Kafka集群部署HAdoop集群实战七:Hive、Hbase集群整合...待更新HAdoop集群实战八:Hive、Hbase集群整合测试...待
原创
2019-01-25 19:01:02
1171阅读
hadoop分布式集群安装的相关操作和一些需要注意的问题
原创
2021-07-13 14:09:21
375阅读
介绍Hadoop常用发行版及选型Apache HadoopCDH : Cloudera Distributed HadoopHDP : Hortonworks Data Platform一般
原创
2022-08-07 00:59:53
250阅读
伪分布式Hadoop集群是一种在单台机器上模拟多台机器的Hadoop集群环境，适用于学习和开发目的。在这篇文章中，我将向您介绍如何搭建一个伪分布式Hadoop集群，并通过代码示例详细说明每一步需要执行的操作。
### 伪分布式Hadoop集群搭建流程
步骤|操作
-|-
1|安装Hadoop
2|配置Hadoop
3|启动Hadoop集群
4|执行Hadoop作业
### 详细步骤及代码示例
