什么是zookeeper？ ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合
转载
2024-09-11 22:28:49
82阅读
CAP理论的核心 1.一个分布式系统不可能同时很好的满足一致性，可用性和分区容错性这三个需求 2.根据CAP原理，将NOSQL数据库分成了满足CA原则，CP原则，AP原则三大类：1. CA：单点集群，满足一致性，可用性的系统，通常可扩展性较差
2. CP：满足一致性，分区容错性的系统，通常性能不是特别高
3. AP：满足可用性，分区容错性的系统，通常可能对一致性要求低一些Zookeeper保
转载
2024-04-10 12:14:21
84阅读
1、zookeeper一致性原理一致性概念：强一致性、弱一致性、最终一致性为了保证主从节点的数据一致性，Zookeeper 采用了 ZAB 协议，这种协议非常类似于一致性算法 Paxos和 Raft什么是 ZABZookeeper Atomic Broadcast，有效解决了 Zookeeper 集群崩溃恢复，以及主从同步数据的问题。#ZAB 协议定义的三种节点状态L
转载
2024-08-21 22:45:40
75阅读
ZooKeeper中ZXID是一个长度64位的数字，其中低32位是按照数字递增，即每次客户端发起一个proposal，低32位的数字简单加
原创
2022-12-22 00:44:21
464阅读
介绍在Hadoop1.X版本中namenode只支持一个，我们知道HDFS的读或者写都需要先去访问namenode，namenode其实就相当于Hadoop集群中的Master，如果namenode挂掉，整个Hadoop集群将无法使用。这就是我们说的单点故障问题。在Hadoop2.X版本之后提供了Hadoop的高可用，namenode可以配置两个，由Zookeeper管理，一个namenode处于
1 概述
ZooKeeper（动物园管理员），顾名思义，是用来管理Hadoop（大象）、Hive（蜜蜂）、Pig（小猪）的管理员，同时Apache HBase、Apache Solr、LinkedIn Sensei等众多项目中都采用了ZooKeeper。
ZooKeeper曾是Hadoop的正式子项目，后发展成为Apache顶级项目，与Ha
转载
2024-02-23 15:37:05
10000+阅读
事件机制： Watcher 监听机制是 Zookeeper 中非常重要的特性，我们基于 zookeeper 上创建的节点，可以对这些节点绑定监听事件，比如可以监听节点数据变更、节点删除、子节点状态变更等事件，通过这个事件机制，可以基于 zookeeper实现分布式锁、集群管理等功能。 watcher 特性：当数据发生变化的时候， zookeeper 会产生一个 watcher 事件，并且会发送
转载
2024-05-07 11:10:56
59阅读
1. Zab介绍 ZooKeeper服务的内部通信，是基于Zab协议，即ZooKeeper Atomic Broadcast协议。原子广播(AB)是分布式计算普遍使用的原语。本质上说，ZooKeeper服务是基于复制分发的。它需要半数以上的服务器能正常工作。崩溃的服务器能恢复并且重新加入集群。ZooKeeper采用主备方式来维护被复制状态的一致性。在ZooKeeper中，leader接受所有客户
转载
2024-02-23 15:36:48
34阅读
[前言:这是一次艰苦的旅行...]一.初始ZK 1. 什么是ZK：ZK是一个高效的分布式协调服务，它暴露了一些公用服务，比如命名/配置管理/同步控制/群组服务等。我们可以使用ZK来实现比如达成共识/集团管理/leader选举等。关键词：分布式协调 高性能2. 设计目标：简单：ZK中的namespace组织结构类似与标准的文件系统，通过这些共享的有层次的namespace来互相
转载
2024-04-29 22:01:59
29阅读
# Java Epoch是神恶魔
在Java编程中，Epoch是一个非常重要的概念，它代表了时间的起点，通常指的是1970年1月1日午夜（格林尼治时间）。在计算机领域中，时间通常以毫秒为单位进行存储和计算，而Epoch则是用来表示这个起始时间的标准。尽管Epoch在Java编程中具有重要意义，但有时也会给开发者带来一些麻烦，因此有人称之为“神恶魔”。
## Epoch的使用
在Java中，我
原创
2024-05-03 07:29:00
78阅读
ChibiOS启动过程详解Makefile我们先从根目录下的Makefile文件看起，在Makefile写明了启动部分的.mk文件所在：# Licensing files.
include $(CHIBIOS)/os/license/license.mk
# Startup files. <--在这里-->
include $(CHIBIOS)/os/common/startup
面向对象的程序设计思想（ Object Oriented Programming），简称OOP 面向对象思想就是在计算机程序设计过程中，参照现实中事物，将事物的属性特征、行为特征抽象出来，用类来表示。某个事物的一个具体个体称为实例或对象。对于面向对象的理解要对比 面向过程 来理解。比如说 洗衣机 洗衣服 面向过程，就会把洗衣服的每一个步骤写成一个方法，按顺序执
转载
2023-07-16 19:46:14
822阅读
Elastic Stack写在前面：刚接触elk，总是有点懵懵懂懂，我一向是比较习惯在使用过后更好更快的了解这个东西是做什么的，但这个elk是真的有点恶心到我了，那就是对于初期的模拟应用对小白太太太不友好了，所以在网上看了很多关于elk的介绍。然后各种参差不齐、见解不一的文章就把我的脑袋搞大了，最后不知道看了多少篇文章才梳理出来了一些头绪，总结成下面这篇文章。 本文纯本着分享知识的本质，内有摘抄和
转载
2024-04-01 15:50:24
61阅读
自然语言处理（NLP），事实上，自然语言处理是数据挖掘的一个具体应用领域。自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效信息交流的各种理论和方法。自然语言处理是一门结合语言学、计算机科学、数学于一体的科学。因此，很多领域的研究都将涉及到自然语言，也就是人们日常使用的语言，所以它与语言学的研究有着密切的联系但又有重要的区别。自然语言处理并不是
转载
2023-10-31 10:39:43
66阅读
一、什么是Zookeeper ZooKeeper 顾名思义 动物园管理员，他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig) 的管理员， Apache Hbase和 Apache Solr 以及LinkedIn sensei 等项目中都采用到了 Zookeeper。ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，ZooKe
转载
2024-02-13 14:32:14
42阅读
Zookeeper概念简介Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务 A、zookeeper是为别的分布式程序服务的 B、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务，所以一般zk都是奇数台服务器） C、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务……
转载
2024-04-15 13:57:22
8阅读
keepalived与zookeeper都可以用来实现高可用，高可用一般跟负载均衡会一起考虑，所以通常也会考虑到相应的负载均衡能力，以下是Keepalived与Zookeeper的对比：一、概括对比：1、Keepalived：优点：简单，基本不需要业务层面做任何事情，就可以实现高可用，主备容灾。而且容灾的宕
转载
2023-12-17 13:44:09
32阅读
企业业务拓展进程加快，数据规模变得越来越大，由于数据极快的增长速度以及非结构化的特性，常用的软硬件工具已无法在较短时间内对数据进行采集、管理和处理。很多企业选择在阿里云上使用Storm搭建大规模消息分发和实时数据流处理系统。一、实时大数据处理器—StormStorm全称是Apache Storm，Apache Storm是一个分布式实时大数据处理系统，Storm设计用于在容错和水平可扩展方法中处理
原创
2022-08-25 10:02:09
119阅读
etcd是一个golang编写的分布式、高可用的一致性键值存储系统，etcd可以用于存储关键数据和实现分布式调度，etcd基于Raft协议，通过复制日志文件的方式来保证数据的强一致性。在etcd之前，常用的是基于Paxos协议的ZooKeeperetcd主要特性有： 简单：基于HTTP+JSON的API让你用curl就可以轻松使用。 安全：可选SSL客户认证机制。 快速：每个实例每秒支持一千次写操作。 可信：...
原创
2021-06-05 00:03:00
837阅读
在计算领域中，Shebang（也称为 Hashbang ）是一个由井号和叹号构成的字符序列 #! ，其出现在文本文件的第一行的前两个字符。 在文件中存在 Shebang 的情况下，类 Unix 操作系统的程序加载器会分析 Shebang 后的内容，将这些内容作为解释器指令，并调用该指令，并将载有 S
转载
2019-09-02 11:43:00
617阅读
2评论
