1.准备工作1.1准备三台服务，我这边目前已经准备好啦。 我这边配置了三台服务器ip分别是 192.168.10.51 192.168.10.52 192.168.10.531.2配置workers（这个必须配）现在51服务器配置 vim /etc/hosts 配置完ping 下自己配置的域名解析对的话就对了。1.3脚本分发配置cd /root/bin
#在目录下执行
vim xsync
#!
转载
2024-10-30 17:04:34
15阅读
文章目录前言一、服务器准备1、服务器列表二、安装包准备三、安装步骤第一步：上传解压2 配置java环境第二步：vim hadoop-env.sh第三步：在 Linux 中配置 Hadoop 环境变量第四步：验证第五步：修改hosts第六步：设置 SSH 免密码登录第七步：配置HDFS第八步：配置NameNode节点第九步：修改hostName第十步：格式化 NameNode 以及启动 HDFS
转载
2023-08-10 23:41:35
111阅读
一、虚拟机安装与配置 注意，本文不适合小白操作，查看至少需要一点儿linux操作基础，因为其中有很多命令并没有写出来。比如使用vi修改文件后，需要使用:wq来保存并退出。安装Hadoop集群时需要多个服务器，所以需要安装多个虚拟机，请自行安装。配置服务器的hosts文件,就是将多个服务器之间建立域名配置(这样就可以使用域名来代替ip使用)。vi /etc/hosts最后添加如下内容(左边为每个服务
转载
2023-07-25 20:57:22
75阅读
配置远程登录1） 在自己的linux机上搭好hadoop2） 修改linux的hosts文件# vim /etc/hosts在hosts文件的最下面一行添加，格式为：第一部份：网络IP地址。第二部份：主机名.
转载
2023-07-13 13:33:58
58阅读
二、Hadoop教程之分布式环境集群搭建讲解（详细）前言1. 布式环境部署（1） 准备工作（2） 配置工作（3） 启动工作（4） 查看集群 前言本文只介绍安装部署Apache Hadoop2.x版本，后续文章将来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目的。1. 布式环境部署分部式是真正利用多台 Linux 主机来进行部署 Had
转载
2024-02-03 06:24:56
76阅读
前两天看到有人留言问在什么情况下需要部署hadoop，我给的回答也很简单，就是在需要处理海量数据的时候才需要考虑部署hadoop。关于这个问题在很早之前的一篇分享文档也有说到这个问题，数据量少的完全发挥不了hadoop的优势，所以也没必要部署。但对于正在学习hadoop的朋友来说，hadoop运行环境部署真的是件非常头疼的事情。计划在接下来的一段时间里，以我之前学习研究大快搜索DKHadoop时经
转载
2023-08-18 20:49:06
44阅读
一、Hadoop介绍 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。二、Hadoop集群简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。 HDFS集群负责海量数据的存储，集群中的角色主要有：NameNode、DataNode、S
转载
2023-07-24 11:02:30
39阅读
一、高可用HDFS 1、HDFS基础结构 2、高可用HDFS架构 主备切换控制器 ZKFailoverController：ZKFailoverController 作为独立的进程运行，对 NameNode 的主备切换进行总体控制。ZKFailoverController 能及时检测到 NameNode 的健康状况，在主 NameNode 故障时借助 Zoo
转载
2023-07-12 11:38:12
114阅读
Hadoop-3.2.0 环境搭建工作环境：CentOS7 工作时间：2019/02/17-2019/02/20 安装路径：/opt/hadoop-3.2.0/ 注：本文在没有Linux和服务器集群的基础之上自行摸索，所以可能存在很多纰漏。如果想学习Hadoop-3.2.0分布式的搭建方法，可以完全参照2.7版本的搭建方法，唯一的不同是在指定datanode的文件从3.x版本开始从slave改为w
转载
2023-07-24 14:03:39
43阅读
Hadoop集群搭建（三台Linux服务器）搭建之前注意的几点问题环境以及版本基本命令Linux环境准备首先安装Hadoop配置集群分发脚本克隆配置好的机器Hadoop集群配置第一步 配置其中一台Hadoop，我选的是hadoop191第二步 分发hadoop配置文件第三步 查看分发情况第四步 配置ssh第五步 配置群起集群第六步 启动集群 搭建之前注意的几点问题根据尚硅谷老师的讲课进行的总结，
转载
2023-07-13 16:38:28
102阅读
服务器集群就是指将很多服务器集中起来一起进行同一种服务，在客户端看来就像是只有一个服务器。集群可以利用多个计算机进行并行计算从而获得很高的计算速度，也可以用多个计算机做备份，从而使得任何一个机器坏了整个系统还是能正常运行。 集群（cluster）技术是一种较
转载
2023-08-04 11:15:13
62阅读
一、虚拟机安装与配置 注意，本文不适合小白操作，查看至少需要一点儿linux操作基础，因为其中有很多命令并没有写出来。比如使用vi修改文件后，需要使用:wq来保存并退出。安装Hadoop集群时需要多个服务器，所以需要安装多个虚拟机，请自行安装。配置服务器的hosts文件,就是将多个服务器之间建立域名配置(这样就可以使用域名来代替ip使用)。vi /etc/hosts最后添加如下内容(左边为每个服务
转载
2024-05-28 23:23:30
60阅读
【服务器数据恢复介绍】
一台服务器在正常运行过程中因为未知原因忽然崩溃，管理员对服务器进行检查发现有一块硬盘离线，只需更换故障硬盘即可，于是管理员对服务器进行更换硬盘并同步数据，但是在更换新硬盘后进行数据同步的过程中服务器中的另一块硬盘又忽然掉线，如此一来客户的服务器彻底瘫痪了，逻辑盘无法挂载，进入服务器的管理界面查看发现有两块硬盘的状态为故障脱机【服务器数据恢复备份】
&
原创
2024-06-19 14:59:59
151阅读
1、下载hadoop这里搭建最新的hadoop3.3.0版本的集群，进入hadoop官网https://hadoop.apache.org/releases.html找到要下载的版本，我这里选择的是当前最新的3.3.0版本。进入下载页面，选择清华大学的镜像（速度快）进行下载。wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common
转载
2023-09-26 15:52:43
132阅读
【服务器数据恢复介绍】 北京某公司的一台服务器在正常运行过程中因为未知原因忽然崩溃，管理员对服务器进行检查发现有一块硬盘离线，只需更换故障硬盘即可，于是管理员对服务器进行更换硬盘并同步数据，但是在更换新硬盘后进行数据同步的过程中服务器中的另一块硬盘又忽然掉线，如此一来客户的服务器彻底瘫痪了，逻辑盘无法挂载，进入服务器的管理界面查看发现有两块硬盘的状态为故障脱机【服务器数据恢
转载
2023-12-22 20:55:26
37阅读
这里写目录标题1.日志采集介绍1.1 浏览器的页画日志采集1.1.1 页面浏览日志采集1.1.2 页面交互日志采集1.1.3 页面日志的服务器端清洗和预处理2.无线客户端的日志采集2.1 无线客户端页面事件2.2 控件点击及其他事件2.3 H5 & Native 日志统一2.4 特殊场景2.5 设备标识参考资料 1.日志采集介绍日志采集是作为数仓数据采集的部分，是大数据体系构建中的重要一
转载
2023-09-01 10:46:34
13阅读
1. 规划功能HOSTNAMEIP说明MasterHDM01192.168.1.1Namenode 兼datanode SlaveHDS02192.168.1.2Datanode SlaveHDS03192.168.1.3Datanode ClientHDC04192.168.1.4HADOOP客户端(H
转载
2023-12-25 13:40:18
36阅读
前言本文基于Hadoop2.9.2，使用3台云服务器，搭建分布式文件系统HDFS。在开始之前，你需要3台云服务器，可以在同一家购买也可以在不同家购买，比如，分别从BAT购买3台学生机，会很便宜，前提是要有学生身份。服务器配置来源主机名CPU磁盘容量阿里云al-s21核2G39.25G腾讯云tx-s21核2G39.25百度云bd-s21核2G49.09下载安装JavaJava下载Hadoop运行依赖
转载
2023-09-16 21:02:16
84阅读
修改主机名（主机默认是带_的。如果不修改，远程hdfs-client通过主机名访问时会报java.lang.IllegalArgumentException:Does not contain a valid host:port）
1.--查看主机名
hostname
2.--设置当前主机名为master
hostnamectl set-hostname maste
3.--重启
rb
转载
2023-08-13 13:20:55
0阅读
大数据基石-Hadoop Hadoop3.x版本全系列教程 === 楼兰 文章目录一、关于Hadoop1、关于Hadoop产品2、Hadoop课程内容3、Hadoop的主要组件二、Hadoop环境搭建以及快速上手1、Linux环境搭建2、Hadoop集群搭建3、Hadoop快速上手三、上手总结 一、关于Hadoop1、关于Hadoop产品 首先，关于Hadoop的重要性 对于Hadoop
转载
2024-06-17 14:01:00
26阅读
