HADOOP中可以分为两个大的模块，存储模块和计算模块。HDFS作为存储模块，JobTracker,TaskTracker构成计算模块。 1.HADOOP的文件是以HDFS格式存储的 HDFS是一种文件系统，专为大规模分布式数据处理而设计的，我们可以把一个很大的数据集，在HDFS中存储为单个文件。HDFS中采取的是master/slave的结构，其中master我们
转载
2024-04-22 14:02:44
128阅读
一、HDFS原理1->HDFS 架构HDFS是一个分布式文件系统。一个HDFS集群主要由一个 NameNode ,一个Secondary NameNode 和多个 Datanode2->HDFS各个节点的功能NameNode：Master节点，是领导。管理数据块映射；处理客户端的读写请求；监控nanmenode的健康状态；管理HDFS的名称空间。
转载
2023-07-20 17:13:42
64阅读
HDFS架构图HDFS特点：高容错；高吞吐量；在项目中处理大数据集；流式访问文件系统数据；可以构建在普通的硬件之上。采用master/slave架构，主要组成组件有：Client、NameNode、SecondaryNameNode、DataNode。（1）Client用户，通过与NameNode和DataNode交互访问HDFS中的文件，Client提供一个类似POSIX的文件系统接口供用户调用
转载
2024-01-25 17:10:01
104阅读
打开注册表Regedit 点击目录至： HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Run\ 删除右边的项目：SYSEDIT = c:\windows\ sysedit.exe HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\RunServices
原创
2009-11-06 17:28:48
584阅读
## Redis Sentinel Masters配置
Redis Sentinel是Redis官方提供的一种高可用解决方案，它可以监控Redis主从节点的健康状态并在主节点故障时自动进行故障转移，确保Redis集群的高可用性。在Redis Sentinel中，我们可以配置多个主节点，并通过Sentinel Masters配置来管理这些主节点。
### Sentinel Masters配置简介
原创
2024-03-03 05:56:19
62阅读
## HBase 单节点 Backup Masters 实现流程
### 概述
在 HBase 中，Backup Masters 是用来备份主 Master 的节点，以提供高可用性和容错能力。本文将介绍如何实现 HBase 单节点 Backup Masters，并提供详细的步骤和代码示例。
### 实现步骤
下面是实现 HBase 单节点 Backup Masters 的步骤，用表格展示：
原创
2023-08-26 11:38:39
181阅读
In ByteDance, many ByteDancer are hidden learning masters. Keeping the original intention of learning, paying attention to growth, and dare to challen
原创
2021-12-10 17:46:43
27阅读
如果是一个专业的DBA，那么实例启动时会加很多的参数以便使系统运行的非常稳定，这样就可能会在启动时在Redis后面加一个参数，以指定配置文件的路径，就象mysql一样的读取启动配置文件的方式来启动数据库。源码编译完成后，在redis-2.2.12目录下有一个redis.conf文件，这个文件即是Redis的配置文件，用配置文件来启动Redis的方法如下:
转载
2023-11-04 21:54:10
3阅读
配置secondarynamenode主机名masters
原创
2017-08-25 10:26:43
1304阅读
1.配置hadoop的secondarynamenode,配置内容如下node2本文转自 素颜猪 51CTO博客，原文链接:://blog.51cto.com/su...
转载
2017-11-12 14:45:00
53阅读
(英文原文: Why Scrum Masters love Scrum?)在scrum拥有深厚专业知识
翻译
2023-01-11 07:25:13
165阅读
# HBase Backup Masters没有备机的实现指南
在HBase集群的管理中，确保数据的高可用性和系统的稳定性至关重要。备机的配置是确保主节点发生故障时系统能够快速恢复的关键环节。本文将教你如何实现“HBase Backup Masters没有备机”的设置。
## 整体流程
首先，下面是实现这一功能的总体步骤：
| 步骤 | 描述
原创
2024-08-18 06:28:30
71阅读
Redis学习笔记（五）-- Redis SentinelRedis SentinelRedis Sentinel故障转移三个定时任务Sentinel模式下客户端实现原理 Redis SentinelRedis Sentinel可以监控多套主从节点，实现故障自动转移和高可用。Sentinel本质上也是Redis节点，区别在于开启了Sentinel模式。Redis Sentinel故障转移过程多个
转载
2024-05-29 11:20:19
48阅读
1. datanode介绍1.1 datanodedatanode是负责当前节点上的数据的管理，具体目录内容是在初始阶段自动创建的，保存的文件夹位置由配置选项{dfs.data.dir}决定1.2 datanode的作用datanode以数据块的形式存储HDFS文件
datanode响应HDFS 客户端读写请求
datanode周期性向NameNode汇报心跳信息,数据块信息，缓存数据块信息1.3
转载
2023-07-06 18:39:01
88阅读
各位 StarRocks 的新老用户：StarRocks 近期发布了 2.3 版本，核心更新有：主键模型支持完整的 DELETE WHERE 语句，异步执行 CTAS，资源组的大查询防御，资源组的监控，JDBC 外表，数据目录 Catalog，集群部署与管理工具 StarGo 等。欢迎体验新版本功能，若喜欢我们的项目，大家可以在 GitHub 上 Star 一下✨ 体验地址：https://git
转载
2024-05-23 19:08:39
263阅读
Hadoop学习笔记[5]-Yarn介绍分布式计算简单的说就是要将计算任务分发给不同的计算节点，这其中很自然的就会遇到两个问题：资源管理任务调度 资源管理负责监控计算节点的负载情况，任务调度负责派发具体的任务到计算节点，本文说的Yarn主要就是用于资源管理1、Yarn之前Hadoop在2.X之后进行了比较大规模的重构，比较大的一块就是集群新增了Yarn这个角色，在Hadoop1.X的时候，负责
转载
2023-09-20 12:05:25
65阅读
文章目录Hive基本概念一、Hive介绍1、什么是Hive2、Hive的优缺点3、Hive的特点二、Hive架构1、架构图2、基本组成3、Hive与传统数据库对比 Hive基本概念一、Hive介绍1、什么是HiveHive是一个构建在Hadoop上的数据仓库框架。最初，Hive是由Facebook开发，后来移交由Apache软件基金会开发，并作为一个Apache开源项目。Hive是基于Hadoo
转载
2023-07-24 11:00:06
47阅读
Pig 简介： Pig 是 Apache 项目的一个子项目，Pig 提供了一个支持大规模数据分析的平台，Pig 突出的特点就是它的结构经得起大量并行任务的检验，使得它能够处理大规模数据集Pig 特点： Pig 可简化 MapReduce 任务的开发&nb
转载
2023-09-06 10:43:28
44阅读
1 搭建环境部署节点操作系统为CentOS，防火墙和SElinux禁用，创建了一个shiyanlou用户并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限（一般做法是root用户在根目录下创建/app目录，并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanl
转载
2023-10-06 20:44:44
92阅读
一.HDFS简介 HDFS（Hadoop Distributed File System，Hadoop分布式文件系统），源自于Google于2003年10月发表的GFS论文，是GFS克隆版，为hadoop提供存储功能。官方解释：Hadoop分布式文件系统（HDFS）是一种为在商用硬件上运行而设计的分布式文件系统。 它与现有的分布式文件系统有许多相似之处。 但是，与其他分布式文件系统的不
转载
2023-09-20 12:05:49
63阅读
