1. Kafka Partition Replication 功能：增加Topic分区的可用性 每个Partition分为leader和follower两部分(前提是replication factor大于1的)eg: Topic: hadoop2 Partition: 0 Leader: 3 Replicas:
转载
2024-04-12 09:19:21
146阅读
此方案包含部分实施要点，作为部署实施参考。主要针对RHEL/Centos7.x系统，其他系统可能会有不同。 主机配置章节包含了部分针对Hadoop的操作系统优化。服务版本操作系统CentOS 7Cloudera Manager6.3.1CDH6.3.2前言如果要启用FreeIPA，最好先安装ipa-server。当然在部署好集群后安装也可以。 Cloudera Manager Server节点需要
转载
2024-06-12 23:18:08
234阅读
一、概要 本文记录hbase高可用集群部署过程，在部署hbase之前需要事先部署好hadoop集群，因为hbase的数据需要存放在hdfs上，hadoop集群的部署后续会有一篇文章记录，本文假设hadoop集群已经部署好，分布式hbase集群需要依赖zk，并且zk可以是hbase自己托管的也可以是我们自己单独搭建的，这里我们使用自己单独搭建的zk集群，
原创
精选
2017-05-10 16:33:18
10000+阅读
点赞
部署 HBase 的高可用性（HA）环境是一项重要的任务，尤其是在使用 Cloudera Distribution for Hadoop（CDH）时。本文将详细介绍如何在 CDH 环境中部署高可用的 HBase，并提供一个清晰的步骤流程和代码示例。
## 部署流程概述
以下是 HBase 高可用性部署的基本步骤：
| 步骤 | 描述 | 所需时间 |
CDH版本HADOOP2.6.0高可用集群搭建一、安装包准备hadoop-2.6.0-cdh5.16.2.tar jdk-8u45-linux-x64 zookeeper-3.4.5-cdh5.16.2.tar二、集群规划hadoop01 hadoop02 hadoop03三、搭建过程1、3台虚拟机配置，以第一台为例**1.1 ip设置[root@hadoop01 ~]# vi /etc/sysc
转载
2023-09-03 16:25:18
94阅读
CentOS7搭建CDH5.16.2集群 HA高可用机器准备：(这里HA是对HDFS和YARN的高可用)主机名cpu内存bigdata-master018c32Gbigdata-master028c32Gbigdata-datanode018c16Gbigdata-datanode028c16Gbigdata-datanode038c16G基本软件目录（/usr/local/soft）自定义创建一
转载
2024-05-21 12:44:05
202阅读
高可用系统通常会遇到下列问题元数据维护。数据持久化。数据同步。数据一致性。故障恢复。主备切换(某节点故障可自动切换为其他节点)。扩容。数据写入策略。下面就从这些问题入手,去探索kafka如何保证高可用。术语解释ARAssigned Repllicas 指派的副本集合。分区中的所有副本统称为AR。ISRIn-Sync Replicas 同步副本集。所有与leader副本保持一定程度同步的副本（包括L
转载
2024-05-09 16:19:04
116阅读
一. HDFS的参数配着 1. 修改HDFS的权限检查配置关闭HDFS中的权限检查：dfs.permissions。 2. 配置Hadoop支持LZO 点击主机，在下拉菜单中点击Parcel 点击配置 找到远程Parcel存储库URL，点击最后一栏的加号，增加一栏，输入 &nb
转载
2024-04-24 17:15:24
85阅读
1、kafka的HA机制：副本机制+消息同步+leader选举。 每个topic有多个partition，每个partition又有多个副本，这些副本当中也存在不同的角色，leader、follower。producer和consumer都只跟leader进行交互，leader进行读写操作。leader负责将消息写进本地log当中，follower去leader上pull拉取数据，将数据同步到本
转载
2024-03-04 16:11:47
34阅读
笔者近期在和团队的小伙伴进行数据资产管理方向的探索，本书的翻译基于Apache Atlas v1.1版本。笔者翻译的《Atlas开发指南(中文版)》地址为: https://mantoudev.com 置顶文章 。希望对大家有帮助，阅读过程中遇到问题欢迎留言或与我联系。1. 介绍Apache Atlas使用各种系统并与之交互，为数据管理员提供元数据管理和数据血缘信息。通过适当地选择和配置这些依赖关
Kafka如何保证数据可靠性1、可靠性策略为保证 producer发送的数据，能可靠的发送到指定的 topic，topic的每个partition收producer发送的数据后，都需要向producer发送ack确认收到，如果producer收到ack，就会进行下一轮的发送，否则重新发送数据。2、同步策略的问题Partition到底什么时候发送这个ack？确保有follower与leader同步完
转载
2024-04-12 09:19:32
23阅读
# 实现 CDH YARN 高可用性指南
作为一名经验丰富的开发者，我将为你详细介绍如何在CDH（Cloudera Distribution including Apache Hadoop）中实现YARN的高可用性（HA）。这能确保在一台主节点出现故障时，集群中的其他节点仍然可以正常提供服务。下面是整个过程的简化步骤和详细说明。
## 1. 高可用性部署流程概述
| 步骤 | 描述
原创
2024-09-08 06:22:37
60阅读
# 实现CDH MySQL高可用的流程
| 步骤 | 操作 |
| --- | --- |
| 1 | 安装MySQL |
| 2 | 配置MySQL主从复制 |
| 3 | 安装CDH |
| 4 | 配置CDH和MySQL的集成 |
| 5 | 测试高可用性 |
## 步骤1：安装MySQL
首先，你需要安装MySQL数据库。可以使用以下命令进行安装：
```shell
sudo ap
原创
2023-07-21 20:55:41
91阅读
# CDH Spark 高可用
## 什么是CDH Spark？
CDH（Cloudera Distribution Including Apache Hadoop）是由Cloudera提供的一套基于Apache Hadoop的大数据处理解决方案。而Spark则是一种基于内存计算的大数据处理框架，具有高效的数据处理能力。
## 为什么需要高可用性？
在生产环境中，数据处理系统需要保证高可用
原创
2024-05-19 03:35:17
66阅读
HA集群的搭建可以在完全分布式的基础上搭建目的：减少单点故障的发生规划配置图NN1NN2DNzKZKFCJNNRMhadoop100******hadoop101******hadoop102***图中的 NN、DN、ZK、ZKFC、JNN、RM是以下简称 NN： NameNode DN：DataNode ZK：Zookeeper ZKFC：Zookeeper客户端 JNN：Journalnode
转载
2023-08-18 15:03:48
136阅读
Table of ContentsHDFS高可用性介绍背景HA实现Quorum-based存储自动故障转移关于HDFS HA的一般问题“Operation category READ/WRITE is not supported in state standby”是什么意思?为HDFS HA配置硬件开启HDFS HA使用 Cloudera 管理器启用 HDFS HA启用高可用性和自动故障转移Fen
转载
2024-03-18 10:40:23
138阅读
kafka主要作用Kafka 为实时日志流而生，要处理的并发和数据量非常大。可见，Kafka 本身就是一个高并发系统，它必然会遇到高并发场景下典型的三高挑战：!!#ff0000 高性能、高可用和高扩展。!!为了简化实现的复杂度，Kafka 最终采用了很巧妙的消息模型：它将所有消息进行了持久化存储，让消费者自己各取所需，想取哪个消息，想什么时候取都行，只需要传递一个消息的 offset 进行拉取即可
转载
2023-10-31 20:10:43
127阅读
概念在Kafka在0.8以前的版本中，是没有Replication的，一旦某一个Broker宕机，则其上所有的Partition数据都不可被消费，这与Kafka数据持久性及Delivery Guarantee的设计目标相悖;所以,0.8 以后就引入了副本机制;引入副本机制后带来的问题引入Replication之后，同一个Partition可能会有多个Replica，而这时需要在这些Replica中
转载
2024-04-12 03:32:24
28阅读
集群环境kafka+zkIP地址主机名Kafka版本ZooKeeper版本JDK版本172.17.0.2kafka_node1kafka_2.12-2.2.1.tgzzookeeper-3.4.14.tar.gzjdk-8u161-linux-x64.tar.gz172.17.0.3kafka_node2kafka_2.12-2.2.1.tgzzookeeper-3.4.14.tar.gzjdk-
转载
2021-04-23 14:14:35
513阅读
集群环境 kafka+zkIP地址 主机名 Kafka版本 ZooKeeper版本 JDK版本172.17.0.2 kafka_node1 kafka_2.12-2.2.1.tgz zookeeper-3.4.14.tar.gz jdk-8u161-linux-x.tar.gz172.17.0.
转载
2020-07-06 16:13:00
199阅读
