阿里中间件的博客_分布式和集群

ZooKeeper客户端事件串行化处理

为了提升系统的性能，进一步提高系统的吞吐能力，最近公司很多系统都在进行异步化改造。在异步化改造的过程中，肯定会比以前碰到更多的多线程问题，上周就碰到ZooKeeper客户端异步化过程中的一个死锁问题，这里说明下。通常ZooKeeper对于同一个API，提供了同步和异步两种调用方式。同步接口很容易理解，使用方法如下：ZooKeeper zk = new ZooKeeper(...); List ch

处理

ZooKeeper

客户端事件串行化

原创 2013-07-16 20:59:00 550 阅读

代理重定向策略及其用户感受的分析

大家会碰到类似这样的事情，比如，找你的租房中介负责人让处理一下空调坏了，中介负责人回答你说“我现在不负责你了，你去联系A。”你觉得这件事有些不爽，没办法，去联系A。说不定A又会说自己不负责了，让你联系B。碰到这种“你去联系XXX”的情况，我想没有人会开心的。如果这样的“重定向”形成了环，那么用户一直被“踢皮球”，不会得到处理。用户就要抓狂了！PS：是不是想到了有关部门的处理方式，哈哈作为客户，是体

分析

代理重定向策略

其用户感受

原创 2012-12-08 21:48:00 452 阅读

稳定性思考-强弱依赖

淘宝系统依赖关系比较复杂。A系统依赖B系统资源，当B系统发生故障的时候，A系统势必会被拖累，导致A系统也发生故障图：[A]–依赖–>[B]这里的依赖要区分两种情况1、A强依赖于B任何强依赖都要尽可能的转化成弱依赖，因为强依赖本身意味着一荣俱荣，一损俱损。老婆管账，但是老公又没有私房钱，对老公来说强依赖于老婆，也许是很幸福的事情。在系统角度来说这并不是好事情，比如支付系统强依赖银行的支付，一旦

稳定性思考

强弱依赖

原创 2012-10-31 15:56:00 2512 阅读

zookeeper分布式锁避免羊群效应（Herd Effect）

本文主要讲述在使用ZooKeeper进行分布式锁的实现过程中，如何有效的避免“羊群效应(herdeffect)”的出现。一般的分布式锁实现这里简单的讲下一般的分布式锁如何实现。具体的代码实现可以在这里看到：https://svn.apache.org/repos/asf/zookeeper/trunk/src/recipes/lock/在之前的《ZooKeepe数据模型》一文中提到过，zookee

zookeeper

分布式锁

避免羊群效应

Herd Effect

原创 2012-10-25 08:26:00 5183 阅读

ZooKeeper管理员指南——部署与管理ZooKeeper

本文以ZooKeeper3.4.3版本的官方指南为基础：http://zookeeper.apache.org/doc/r3.4.3/zookeeperAdmin.html，补充一些作者运维实践中的要点，围绕ZK的部署和运维两个方面讲一些管理员需要知道的东西。本文并非一个ZK搭建的快速入门，关于这方面，可以查看《ZooKeeper快速搭建》。1.部署本章节主要讲述如何部署ZooKeeper，包括以

ZooKeeper

管理员指南

部署与管理

原创 2012-10-20 15:55:00 945 阅读

Spark随谈（一）—— 总体架构

Spark是一个小巧玲珑的项目，由Berkeley大学的Matei为主的小团队所开发。使用的语言是Scala，项目的core部分的代码只有63个Scala文件，充分体现了精简之美。Spark之依赖（1）MapReduce模型作为一个分布式计算框架，Spark采用了MapReduce模型。在它身上，Google的MapReduce和Hadoop的痕迹很重，很明显，它并非一个大的创新，而是微创新。在基

Spark

总体架构

随谈

原创 2012-06-13 17:05:00 1561 阅读

Spark随谈

Spark是一个由加州大学伯克利分校（UCBerkeleyAMP）开发的一个分布式数据快速分析项目。它的核心技术是弹性分布式数据集(Resilientdistributeddatasets)，提供了比Hadoop更加丰富的MapReduce模型，可以快速在内存中对数据集进行多次迭代，来支持复杂的数据挖掘算法和图计算算法。Spark使用Scala开发，使用Mesos作为底层的调度框架，可以和hado

Spark

随谈

原创 2012-06-13 16:40:00 1259 阅读 1点赞 1评论

ZooKeeper监控

在公司内部，有不少应用已经强依赖zookeeper，zookeeper的工作状态直接影响它们的正常工作。目前开源世界中暂没有一个比较成熟的zookeeper-monitor,于是开始zookeeper监控这块工作。目前zookeeper-monitor能做哪些事情，讲到这个，首先来看看哪些因素对zookeeper正常工作比较大的影响：用于zookeeper写日志的目录要有足够大小，并且强烈建议在单

监控

ZooKeeper

原创 2012-01-12 14:42:00 818 阅读

ZooKeeper FAQ

这段时间来，也在和公司里的一些同学交流使用zk的心得，整理了一些常见的zookeeper问题。这个页面的目标是解答一些zk常见的使用问题，同时也让大家明确zk不能干什么。页面会一直更新。客户端1.客户端对ServerList的轮询机制是什么随机，客户端在初始化(newZooKeeper(StringconnectString,intsessionTimeout,Watcherwatcher))的过

户端

ZooKeeper FAQ

ServerList的轮询机制

原创 2011-12-20 20:51:00 776 阅读

为ZooKeeper增加一个小功能：指定IP进行受限客户端过滤

(所有要下载的文件都在这里：https://issues.apache.org/jira/browse/ZOOKEEPER-1320)ZooKeeper功能定位专一，这“导致”了他并不支持一些“非主流”功能。但是有时候，作为ZooKeeper管理员还是很需要某些功能：比如通过指定ip的方式，拒绝某个客户端的连接和操作请求。目前ZooKeeper官方的说法是，通过配置iptables来实现这个需求。

ZooKeeper

增加一个小功能

指定IP进行受限客户端过滤

原创 2011-12-07 15:31:00 708 阅读

ZooKeeper权限控制

目前在公司内部使用ZooKeeper的地方越来越多，应用大多喜欢自己部署一套ZK集群来使用。考虑到ZK的高可用，并且一套ZK集群至少3台机器，那么每个应用，尤其是一些非核心应用都自己去部署一套的话，对资源利用率很低。另外，随着ZK容灾的提出，单套ZK集群使用的机器量会更大，运维人员开始对这个情况担忧，强烈希望能够合并ZK集群。ZK集群合并使用本身并没有太大的难度，问题在于应用方是否愿意大家共用一套

权限控制

ZooKeeper

ZK集群

原创 2011-11-02 13:28:00 883 阅读

ZooKeeper典型应用场景一览

查看PDF版本ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的介绍。值得注意的是，ZK并非天生就是为这些应用场景设计的，都是后来众多开发者根据其框架

ZooKeeper

典型应用场景

分布式数据管理

系统协调框架

原创 2011-10-08 20:35:00 675 阅读

Push Or Pull?

无论是消息系统，还是配置管理中心，甚至存储系统，你都要面临这样一个选择，push模型orpull模型?是服务端主动给客户端推送数据，还是客户端去服务器拉数据，一张图表对比如下：push模型pull模型描述服务端主动发送数据给客户端客户端主动从服务端拉取数据，通常客户端会定时拉取实时性较好，收到数据后可立即发送给客户端一般，取决于pull的间隔时间服务端状态需要保存push状态，哪些客户端已经发送成

Push Or Pull

配置管理中心

甚至存储系统

原创 2011-04-30 09:44:00 774 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

阿里中间件团队

ZooKeeper客户端事件串行化处理

代理重定向策略及其用户感受的分析

稳定性思考-强弱依赖

zookeeper分布式锁避免羊群效应（Herd Effect）

ZooKeeper管理员指南——部署与管理ZooKeeper

Spark随谈（一）—— 总体架构

Spark随谈

ZooKeeper监控

ZooKeeper FAQ

为ZooKeeper增加一个小功能：指定IP进行受限客户端过滤

ZooKeeper权限控制

ZooKeeper典型应用场景一览

Push Or Pull?