一、    任务简介建立两台Ubuntu虚拟机,部署fourinone。一个主节点一个从节点,从节点监控某文件夹下文件信息,对一天内被修改十次以上的文件进行转移,转移到主节点某目录下。二、    思路从节点开启一个监控线程,每三秒对磁盘进行扫描并监控。监控进程分为扫描和监控两部分。扫描是通过递归将所有文件及子文件夹下的文件的最后修改时间记
原创 2018-10-21 21:22:26
870阅读
分布式协同是分布式应用中不可缺少的,通常担任协调者的角色,或者说是将多机协同的职责从分布式应用中独立出来,以减少系统的耦合性和增强扩充性。Apache的Zookeeper, google的Chubby都是分布式协同的实现者。fourinone实际上可以单独当做Zookeeper用,它使用最少的代码实现了Zookeeper的所有功能,并且力图做到功能更强但是使用更简洁。 一、实现原理 fourinone对分布式协同的实现, 是通过建立一个domain,node两层结构的节点信息去完成,domain可以是分类或者包,node可以是具体属性,domain和node都是自 己根据需求设计命名,...
转载 2012-11-07 10:46:00
156阅读
2评论
分布式协同是分布式应用中不可缺少的,通常担任协调者的角色,或者说是将多机协同的职责从分布式应用中独立出来,以减少系统的耦合性和增强扩充性。Apache的Zookeeper, google的Chubby都是分布式协同的实现者。fourinone实际上可以单独当做Zookeeper用,它使用最少的代码实现了Zookeeper的所有功能,并且力图做到功能更强但是使用更简洁。一、实现原理fourinone
转载 精选 2015-10-25 19:00:01
250阅读
  fourinone-1.11.09 hadoop-0.21.0
原创 2011-12-05 15:04:46
952阅读
3点赞
4评论
分布式协同是分布式应用中不可缺少的,通常担任协调者的角色,或者说是将多机协同的职责从分布式应用中独立出来,以减少系统的耦合性和增强扩充性。Apache的Zookeeper, google的Chubby都是分布式协同的实现者。fourinone实际上可以单独当做Zookeeper用,它使用最少的代码实现了Zookeeper的所有功能,并且力图做到功能更强但是使用更简洁。 一、实现原理 fou
推荐 原创 2012-11-13 10:20:45
2026阅读
2点赞
4评论
很多人是通过wordcount入门分布式并行计算, 该demo演示了Hadoop的经典实例wordcount的实现 输入数据:n个数据文件,每个1g大小,为了方面统计,每个文件的数据由“aaa bbb ... ccc”(由空格分割的1k单词组)不断复制组成。 输出数据:输出这n*1g个数据文件中的每个单词总数 fourinone简单实现思路,假设有n台计算机,将这n个
原创 2011-12-05 15:01:12
726阅读
1评论
对于像淘宝这样上万台服务器集群环境的大型互联网应用, 通常我们面临这样一种需求: 我们需要一个集群管理者管理集群里的服务器,同一个集群中任何一台服务器宕机,其他服务器都能感知. 如果是集群管理者宕机,集群中所有的服务器不能受任何影响,能实时切换到备份管理者上被提供服务。 这个demo演示了如何利用fourinone在简单几行代码下去实现上述功能 GroupManager:是一个集
原创 2011-09-21 14:22:02
990阅读
1点赞
1评论
FourInOne也可以当成简单的mq来使用,该demo演示了队列和主题订阅两种模式的实现 一、队列 将domain视为mq队列,每个node为一个队列消息,检查domain的变化来获取队列消息。 Sender:是一个队列发送者,他发送消息的实现是在queue上创建一个匿名节点来存放消息 pl.create(queue, (Serializable)obj); Receiver:是一个队
原创 2011-09-21 14:34:25
619阅读
2点赞
1评论
“4+1视图”,分别为场景视图、逻辑视图、物理视图、处理流程视图和开发视图。  01 逻辑视图用于描述系统的功能需求,即系统给用户提供哪些服务;以及描述系统软件功能拆解后的组件关系、组件约束和边界,反映系统整体组成与系统如何构建的过程。在UML中由类图来表示(关于什么是类图,这里有一篇通俗易懂的介绍),干货分享!3分钟轻松掌握UML类图下面springcloud微服务的逻辑视图
转载 2023-07-13 15:28:54
88阅读
淘宝Fourinone2.0提供了一个4合1分布式框架和简单易用的编程API,实现对多台计算机CPU,内存,硬盘的统一利用,从而获取到强大 计算能力去解决复杂问题。Fourinone框架提供了一系列并行计算模式(农民工/包工头/职介绍/手工仓库)用于利用多机多核CPU的计算能力;提供 完整的分布式缓存和小型缓存用于利用多机内存能力;提供像操作本地文件一样操作远程文件(访问,并行读写,拆分,排它,复制,解析,事务等)用于利用多机 硬盘存储能力;由于多计算机物理上独立,Fourinone框架也提供完整的分布式协同和锁以及简化MQ功能,用于实现多机的协作和通讯。 Fourinone 2.0新增功能:
转载 2012-06-05 10:01:00
67阅读
2评论
LockDemo是利用fourinone进行分布式锁的实现: 可以启动多个LockDemo实例,每个实例在fourinone上建立一个自己的node, node的domain为lock, node的值为node 然后再轮循判断domain lock的第一个元素是否是自己的node,如果是,就执行,这里模拟线程执行8秒,执行完将自己的node删除,代表释放锁;如果不是,就继续等待。 运行步
原创 2011-09-21 14:29:23
1052阅读
Fourinone2.0里通过FttpAdapter和FileAdapter实现文件io的支持。其中,FttpAdapter提供对远程文件的操作,FileAdapter提供对本地文件的操作,两者api和使用相似,这里主要说明FttpAdapter: FttpAdapter提供了对分布式文件的便利操作, 将集群中所有机器的硬盘资源利用起来,通过统一的fttp文件路径访问,如: windows:f
淘宝Fourinone2.0提供了一个4合1分布式框架和简单易用的编程api,实现对多台计算机cpu,内存,硬盘的统一利用,从而获取到强大计算能力去解决复杂问题。Fourinone框架提供了一系列并行计算模式(农民工/包工头/职介绍/手工仓库)用于利用多机多核cpu的计算能力;提供完整的分布式缓存和小型缓存用于利用多机内存能力;提供像操作本地文件一样操作远程文件(访问,并行读写,拆分,排它,复制,
出处:http://3503265.blog.51cto.com/3493265/884828 淘宝Fourinone2.0提供了一个4合1分布式框架和简单易用的编程api,实现对多台计算机cpu,内存,硬盘的统一利用,从而获取到强大计算能力去解决复杂问题。Fourinone框架提供了一系列并行计算模式(农民工/包工头/职介绍/手工仓库)用于利用多机多核cpu的计算能力;提供完整的分布式缓存和小型
转载 精选 2015-07-28 21:37:54
477阅读
利用fourinone可以轻松实现分布式缓存功能: 1、中小应用的缓存实现:直接启动一个parkserver,分别在两个java进程中使用ParkLocal的create和get方法即可实现缓存的读写操作。 2、如果是大型网站的缓存,单台parkserver的压力不能承受,需要建立多台CacheServer,并且使用CacheFacade进行负载均衡,CacheFacade会根据key自动寻找
原创 2011-09-21 14:32:40
662阅读
Fourinone在去年11月在淘宝内部通过了压测,上亿排序和wordcount等经典指标均优于hadoop,这是一份长达10多页的详细测试报告: http://down.51cto.com/data/337250 (下载无须积分)
原创 2012-02-27 14:12:31
1005阅读
FourInOne(中文名字“四不像”)是一个四合一分布式计算框架,在写这个框架之前,我对分布式计算进行了长时间的思考,也看了老外写的其他开源框架,当我们把复杂的hadoop当作一门学科学习时,似乎忘记了我们想解决问题的初衷:我们仅仅是想写个程序把几台甚至更多的机器一起用起来计算,把更多的cpu和内存利用上,来解决我们数量大和计算复杂的问题,当然这个过程中要考虑到分布式的协
原创 2011-08-30 13:12:20
726阅读
3点赞
1评论
前言这段时间一直在读一本书《大规模分布式系统架构与设计实战》,这是淘宝千峰老师的作品,是从程序员到首席架构师十多年职业生涯的实战经验总结。这本书其实是围绕着Fourinone在讲分布式,并非分布式理论,所以只适用于想研究Fourinone的人,应用实践挺详细。Fourinone是为了解决Hadoop的不足,所以也会有很多相似之处,想研究hadoop的可以借鉴一下思路。最后一单在调度这块比较详细,适
分布式锁可以让多个分布式应用依照先后顺序保持一致性操作,因此在很多方面都有广泛的应用,比如我们在2.1.7计算中的故障处理也谈到2个工头通过竞争一个分布式锁去做任务调度。LockDemo是利用Fourinone进行分布式锁的实现,设计思路如下:1)可以启动多个LockDemo实例,每个实例在Fourinone上建立一个自己的node,node的domain为lock,node的值为node(为方便
原创 2022-12-07 07:13:01
133阅读
在分布式计算上手demo,分布式计算sayhello,分布式计算完整demo中, 对于工人(worker)、工头(ctor),parkserver在多台计算机上的部署和配置: 每台计算机放置实现类,fourinone.jar,config.xml文件即可,parkserver的ip配置要保持一致(也可以用域名) 假设有192.0.0.1,192.0.0.2,192.0.0.3三台计算机:
推荐 原创 2012-07-20 15:19:26
2116阅读
2点赞
1评论
  • 1
  • 2