HDFS架构图HDFS特点：高容错；高吞吐量；在项目中处理大数据集；流式访问文件系统数据；可以构建在普通的硬件之上。采用master/slave架构，主要组成组件有：Client、NameNode、SecondaryNameNode、DataNode。（1）Client用户，通过与NameNode和DataNode交互访问HDFS中的文件，Client提供一个类似POSIX的文件系统接口供用户调用
转载
2024-01-25 17:10:01
104阅读
HADOOP中可以分为两个大的模块，存储模块和计算模块。HDFS作为存储模块，JobTracker,TaskTracker构成计算模块。 1.HADOOP的文件是以HDFS格式存储的 HDFS是一种文件系统，专为大规模分布式数据处理而设计的，我们可以把一个很大的数据集，在HDFS中存储为单个文件。HDFS中采取的是master/slave的结构，其中master我们
转载
2024-04-22 14:02:44
128阅读
# HBase Backup Masters没有备机的实现指南
在HBase集群的管理中，确保数据的高可用性和系统的稳定性至关重要。备机的配置是确保主节点发生故障时系统能够快速恢复的关键环节。本文将教你如何实现“HBase Backup Masters没有备机”的设置。
## 整体流程
首先，下面是实现这一功能的总体步骤：
| 步骤 | 描述
原创
2024-08-18 06:28:30
71阅读
一、HDFS原理1->HDFS 架构HDFS是一个分布式文件系统。一个HDFS集群主要由一个 NameNode ,一个Secondary NameNode 和多个 Datanode2->HDFS各个节点的功能NameNode：Master节点，是领导。管理数据块映射；处理客户端的读写请求；监控nanmenode的健康状态；管理HDFS的名称空间。
转载
2023-07-20 17:13:42
64阅读
## HBase 单节点 Backup Masters 实现流程
### 概述
在 HBase 中，Backup Masters 是用来备份主 Master 的节点，以提供高可用性和容错能力。本文将介绍如何实现 HBase 单节点 Backup Masters，并提供详细的步骤和代码示例。
### 实现步骤
下面是实现 HBase 单节点 Backup Masters 的步骤，用表格展示：
原创
2023-08-26 11:38:39
181阅读
## Redis Sentinel Masters配置
Redis Sentinel是Redis官方提供的一种高可用解决方案，它可以监控Redis主从节点的健康状态并在主节点故障时自动进行故障转移，确保Redis集群的高可用性。在Redis Sentinel中，我们可以配置多个主节点，并通过Sentinel Masters配置来管理这些主节点。
### Sentinel Masters配置简介
原创
2024-03-03 05:56:19
62阅读
光从字面上来理解，很容易让一些初学者先入为主的认为：SecondaryNameNode（snn）就是NameNode（nn）的热备进程。其 实不是。snn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间。对于hadoop进程中 ，要配置好并正确的使用 s
转载
2023-09-14 08:18:21
69阅读
文章目录1. NameNode和SecondaryNameNode1.1 NameNode 和 SecondaryNameNode 工作机制1.2 Fsimage 和 Edits 解析1.2.1 概念1.2.2 oiv 查看 Fsimage 文件1.2.3 oev 查看 Edits 文件1.3 CheckPoint 时间设置1.4 NameNode故障处理1.5 集群安全模式1.5.1 概述1.
转载
2023-11-18 23:44:57
49阅读
Hadoop （二）Hadoop安装环境搭建
一、选择Primary Namenode和Secondary Namenode Primary Namenode和Secondary Namenode关系如下图所示：
图1.1 SNN（Secondary Namenode）合并流程
转载
2023-09-20 10:40:58
93阅读
# 如何在没有Hadoop的情况下进行大数据处理
对许多初学者来说，Hadoop可能是处理大数据的首选工具。然而，在某些情况下，特别是在本地开发或较小的项目中，我们可以使用其他工具和框架来实现大数据处理，而无需依赖Hadoop。本文将介绍如何在不使用Hadoop的情况下，使用Python和一些相关库来处理数据。
## 处理流程概述
我们将通过以下步骤来实现这个目标：
| 步骤 | 描述 |
Hadoop URL：https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/Step 1： 使用上面的URL下载Hadoop-2.6.0Step 2： 分别在三个节点执行命令：mkdir -p /opt/apps/hadoop Step 3： 选在任意一个节点,使用xftp将下载的hadoop文件上传到该路径 Step 4：
转载
2023-07-20 17:12:08
121阅读
Hadoop 3.x（HDFS）----【NameNode 和 SecondaryNameNode】1. NN和2NN工作机制1. 第一阶段：NameNode启动2. 第二阶段：Secondary NameNode工作2. Fsimage和Edits解析1. oiv查看Fsimage文件2. oev查看Edits文件3. CheckPoint时间设置 1. NN和2NN工作机制思考：NameNo
转载
2024-02-19 17:35:16
48阅读
In ByteDance, many ByteDancer are hidden learning masters. Keeping the original intention of learning, paying attention to growth, and dare to challen
原创
2021-12-10 17:46:43
27阅读
SSH 连接系统
喜欢使用 SSH 客户端操作 Linux 系统时可通过「ifconfig」命令获取系统 IP，再通过 IP 连接系统即可
inet 后面的数字就是虚拟机的 IP 地址。本地免密登录用「yum -y install openssh-server」安装 openssh-server。然会创建密钥并授权。配置 JDK 和 Hadoop 环境通过 SSH 将 JDK
转载
2023-07-20 23:59:21
110阅读
经常会有这样的事情发生：在主节点上start-all.sh后，子节点有TaskTracker进程，而没有DataNode进程。
环境：1NameNode 2DataNode三台机器，Hadoop为1.2.1
解决办法：
1.先停止Hadoop，bin/stop-all.sh
2.三台机器都把hadoop1.2.1/tmp下所有文件删除，rm -rf tmp/*
3
转载
2023-09-15 23:26:30
166阅读
当使用命令行start-dfs.sh开启hdfs守护进程时，secondaryNamenode打开不了，卡顿在
Starting namenodes on [sam01]
sam01: starting namenode, logging to /usr/local/hadoop/logs/hadoop-root-namenode-sam01.out
sam02: starting datan
转载
2023-05-30 11:29:31
83阅读
一、SecondaryNameNode概念： 光从字面上来理解，SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其实不是，ssn是HDFS架构中的一个组成部分，它真正的用途，是用来保存namenode中对HDFS metadata信息的备份，并减少namenode重启的时间。hadoop的默认配置中让snn进程默认运行在了na
转载
2023-08-31 10:20:28
179阅读
balancer ：用于分析数据块分布和重新平衡DataNode上的数据分布。用法： hadoop balancer [-threshold ]
解释：-threshold 磁盘容量的百分比。这会覆盖缺省的阀值。
daemonlog ：获取或设置每个守护进程的日志级别。
用法： hadoop daemonlog -getlevel
hadoop daemonlog -s
转载
2024-06-30 22:26:39
31阅读
一：NameNode
1：主要功能提供名称查询服务，内嵌jetty服务器；NameNode主要保存metadata信息；
2：metadata信息包括：文件的权限，某一上传文件包含哪些Block块，Bolck块有保存在哪些DataNode上面；
3：DataNode在启动时候也会上报block信息（此功能一些作用后面会写到）；
4：Name
转载
2024-06-17 08:10:53
10阅读
SecondaryNameNode是一个用来监控HDFS状态的辅助后台程序，部署在一个单独的服务器上。与NameNode进行通信，以便定期地保存HDFS元数据的快照（周期性将Edits日志文件与fsimage进行合并）。由于NameNode是单点的，通过SecondaryNameNode快照功能，可将NameNode宕机时间和数据损失降低到最小。SecondaryNameNode产生原因 Had
转载
2023-07-12 13:44:28
153阅读
