muzinan110的博客_分布式

协调-分布式锁

分布式锁可以让多个分布式应用依照先后顺序保持一致性操作，因此在很多方面都有广泛的应用，比如我们在2.1.7计算中的故障处理也谈到2个工头通过竞争一个分布式锁去做任务调度。LockDemo是利用Fourinone进行分布式锁的实现，设计思路如下：1）可以启动多个LockDemo实例，每个实例在Fourinone上建立一个自己的node，node的domain为lock，node的值为node（为方便

分布式锁

分布式应用

任务调度

原创 2022-12-07 07:13:01 133 阅读

协调-集群管理

对于像淘宝这样上万台服务器集群环境的大型互联网应用，通常我们面临这样一种需求：我们需要一个集群管理者管理集群里的服务器，同一个集群中任何一台服务器宕机，其他服务器都能感知。如果是集群管理者宕机，集群中所有的服务器不能受任何影响，能实时切换到备份管理者上提供服务。这个demo演示了如何利用Fourinone用简单几行代码实现上述功能：❏　GroupManager：是一个集群管理者，它有master和

服务器

集群管理

API

原创 2022-12-07 07:09:59 115 阅读

队列-数据交互

在讲述实现原理之前，我们先了解一下官方定义的Java消息服务的两种经典模式。❏　点对点或队列模式？在点对点或队列模式下，一个生产者向一个特定的队列发布消息，一个消费者从该队列中读取消息。这里，生产者知道消费者的队列，并直接将消息发送到消费者的队列。这种模式概括为：只有一个消费者将获得消息。生产者不需要在接收者消费该消息期间处于运行状态，接收者也同样不需要在消息发送时处于运行状态。每一个成功处理的消

客户端

点对点

java

原创 2022-12-06 09:06:32 49 阅读

计算-并行计算

1.为什么需要并行计算来排序对于大型互联网应用中经常面临对上亿大数据的排序处理等需求，并且上亿大数据量的排序处理能力也是检验分布式系统的计算能力的经典指标之一。通常在单台计算机上的排序算法有插入排序、快速排序、归并排序、冒泡排序、二叉树排序等等。但是如果是上亿规模的数据，也就是大概G以上数量级的排序。超出了单台计算机内存和CUP的能力，实现起来很困难。为了实现上亿的大数据量快速排序，需要考虑利用多

数据

原始数据

jar

原创 2022-12-06 09:06:26 345 阅读

协调-分布式配置

在分布式多台机器环境下，维持统一的配置信息是最常见的需求，当配置信息改变时，所有的机器能实时获取并更新。Fourinone通过Park进行配置信息管理，Park提供创建和修改信息的方法，并支持轮循和事件响应两种方式获取变化的对象，两种方式的效果一样。下面是主要API的设计：SetConfig：在ParKServer上建立一个“domain=浙江、node=杭州、value=西湖”的配置信息，并且在

配置信息

事件响应

新版本

原创 2022-12-06 09:06:18 83 阅读

协调-协调架构原理

协调架构原理简介Fourinone对分布式协调的实现，是通过建立一个domain/node两层结构的节点信息去完成，domain可以是分类或者包，node可以是具体属性，domain和node都是根据需求设计命名，比如可以将domain命名为“a.b.c...”表示一个树型类目。一个domain下可以有很多个node，每个node只指定一个domain，可以通过domain返回它下面所有的node

分布式应用

时间设置

分布式配置

原创 2022-12-06 09:06:14 94 阅读

队列-生产者消费者模式

我们可以将Domain视为MQ队列，每个node为一个队列消息，检查Domain的变化来获取队列消息。❏　Sender：是一个队列发送者，它发送消息的实现是在queue上创建一个匿名节点来存放消息pl.create(queue, (Serializable)obj); ❏　Receiver：是一个队列接收者，他轮循queue上有没有最新消息，有就取出，并删除该节点，注意它是每次获取第一个

Domain

队列-发布订阅模式

如何实现主题订阅模式我们可以将Domain视为订阅主题，将每个订阅者注册到Domain的节点（Node）上，发布者将消息逐一更新每个节点，订阅者监控每个属于自己的节点的变化事件获取订阅消息，收到后清空内容等待下一个消息，多个消息用一个arraylist存放。❏　Publisher：是一个主题发布者，它通过pl.get(topic)获取topic（主题）的所有订阅者节点，并将消息更新到每个节点上，如

Domain

事件处理

原创 2022-12-06 09:01:21 80 阅读

分布式总结

1.什么是分布式系统2.Partition和Replication3.分布式系统的三个指标CAP4.分布式系统挑战5.分布式系统特性与衡量标准6.用一个请求串起来7.概念与实现什么是分布式系统　　分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。分布式系统的出现是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务。其目的是利用更多的机器

分布式系统

数据

网络通信

原创 2022-12-06 08:50:33 76 阅读

分布式系统特征及解决方案

分布式系统特征及解决方案一、可扩展性二、可用性三、一致性四、高性能一个大型网站就是一个分布式系统，包含诸多组件，这些组件是分布式系统的组成部分；而我现在认为，一个大型网站包含诸多组件，每一个组件都是一个分布式系统，比如分布式存储就是一个分布式系统，消息队列就是一个分布式系统。可扩展性、高性能、高可用、一致性。这几个特性也是分布式系统的衡量指标，正是为了在不同的程度上满足这些特性（或者说达到这些指标

分布式系统

数据

元数据

原创 2022-12-06 08:50:28 171 阅读

分布式要解决的问题

分布式要解决什么问题呢？解决持久化数据太大，单个节点的硬盘无法存储的问题；解决运算量太大，单个节点的内存、CPU无法处理的问题。数据分片数据冗余解决这些问题，有两种思路：scale up，scale out。前者就是提升单个节点的能力，更大的磁盘，更快的CPU，定制的软硬件，然而这意味着更高的价格，而且再怎么scaleup 也是有上限的。后者就是把存储、计算任务分担到普通的机器上，通过动态增加节点

数据

复制集

元数据

原创 2022-12-06 08:50:23 111 阅读

调度-资源调度算法

一个调度平台，可以根据业务需要选择不同的调度算法，这里的作业资源调度算法跟操作系统的进程资源调度算法有相似性，但是不存在操作系统的系统进程用户进程调度划分，这里按照通俗的理解，例举一些常用的作业资源调度算法。一种方式是先来后到的方式，先来的先被调用，先分配CPU、内存等资源，后来的在队列等待，这种方式适合平均计算时间、耗用资源情况差不多的作业，为了让后来的作业有机会提前运行，通常还会匹配优先级，即

调度算法

优先级

资源调度

原创 2022-12-06 08:48:40 282 阅读

调度-资源隔离

我们如何让计算任务的进程能受限制的使用机器资源呢，这里不仅指占用某台机器的粗粒度使用，也指对某台机器的CPU/内存/带宽/硬盘的细粒度限制。资源限制和资源控制看上去差不多，但是我们接下来会发现他们的区别。资源调度有两种解决方案：限制方式和控制方式。所谓限制方式，也就是有个虚拟的容器限制，进程无法使用更多的资源。Lxc、Cgroup的实现是一种限制方式，通过虚拟化或者轻量级虚拟化限制资源的使用，后面

Java

进程组

虚拟化

原创 2022-12-06 08:48:36 125 阅读

调度

我们设想这个设计结构大致由任务包、任务队列、资源池、任务调度器、任务执行器、分布式锁、监控管理等几个核心组件组成，能基本解决任务调度和资源调度问题，同时它不仅支持命令方式操作，也是可编程的，这样更灵活。组件说明如下：1）“任务包”是一个任务运行压缩包，包括了完整的任务运行程序、配置属性、优先级设置、安全权限等运行时需要的信息，可以定义任务运行所需要的资源，比如启动该任务程序，最少要占用多少CUP和

任务调度

任务队列

分布式锁

原创 2022-12-06 08:48:31 776 阅读

计算-实时流计算

实时流计算的场景：业务系统根据实时的操作，不断生成事件（消息/调用），然后引起一系列的处理分析，这个过程是分散在多台计算机上并行完成的，看上去就像事件连续不断地流经多个计算节点处理，形成一个实时流计算系统。市场上流计算产品有很多，主要是通过消息中枢结合工人模式实现的，大致过程如下：1）开发者实现好流程输入输出节点逻辑，上传job到任务生产者。2）任务生产者将任务发送到ZooKeeper，然后监控任

流计算

java

jar

原创 2022-12-06 08:48:27 115 阅读

计算-计算模式

工头的giveTask方法可以由开发者实现，工头先获取线上工人数量，然后调用各个工人的doTask方法，让工人们并行完成任务，工人的doTask方法也可以由开发者实现 “职介所”（ParkServer）可以部署在一台独立计算机，它在每次分布式计算时给“包工头”介绍“工人”，当“工人”加入集群时首先在“职介所”进行登记，然后“包工头”去“职介所”获取可用于计算的“工人”，然后“职介所”会继

开发者

输入输出

数据

原创 2022-12-06 08:48:23 75 阅读

Hbase

原创 2014-09-30 16:56:22 857 阅读

计算

分布式

原创 2014-09-30 16:42:01 877 阅读

memcached管理工具(python)

#!/usr/bin/env python # -*- conding: utf-8 -*- import os import sys import shlex from subprocess import Popen, PIPE work_dir = "

python

memcached

原创 2014-07-16 16:01:00 746 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

muzinan的技术博客