一、前言 在大数据系统中，分布式系统已经成为一个无法避免的组件，如zookeeper已经成为了工业届的标准。所以对于大数据的研究，也必须要研究分布式系统的特点。二、集中式系统 由一台或多台计算机组成的中心节点，数据集中存储在这个中心节点中，并且整个系统的所有业务单元都集中部署在这个中心节点上，系统的所有功能均由其集中处理。其部署简单，不用考虑多个节点间的分布式协作问题。三、分布式系统 分布式
转载
2023-08-15 17:54:14
68阅读
http://catkang.github.io/2016/05/27/dynamo.htmlDynamo是Amazon开发的分布式存储系统，本文是阅读Dynamo论文后的总结：Dynamo: Amazon’s Highly Available Key-value Store。将从背景、定位、简介、问题及解决方案几个方面介绍Dynamo的整体设计思路。背景Dynamo是在Amazon所处的应用环境
在现今软件系统纷纷“云化”的浪潮下，各种支持“云化”的框架、工具层出不穷，但这些现成的工具大多基于JAVA，go等语言，且应用场景均为非实时系统。但基于C++语言，且支持毫秒级响应、大吞吐量的分布式实时应用框架一直是这一领域的空白，Cpp Distributed Real-time Application Framework(CDRAF)也因此应运而生。
转载
2023-06-07 19:18:22
363阅读
开篇吹牛，吹大牛了各位。接连几篇博文，已经将了我们系统常用的东西，主要针对服务端，非桌面系统。聊了这么久了，最后将这所有内容打包，完成一个系统。可能称为组件才合适，因为我没有提供启动程序。每一个模块都是尽量做到公共化，统一化总结一下：通信组件，序列化组件，特性反射，扩展方法，结构返回模板，缓存，负载均衡，etcd的注册中心（这个是在java部分讲的，我只是提供了c#版本的客户端代码）。反射方法有了
转载
2023-06-12 17:51:53
26阅读
很久之前，在博客园写了一篇文章，《分布式网游server的一些想法语言和平台的选择》，当时就有了用C#做网游服务端的想法。写了个Unity3d客户端分布式服务端框架，最近发布了1.0版本，取名ET框架。ET框架的目标就是简化客户端开发，简化分布式服务端开发，但是功能非常强大，完全可以作为一个大型分布式服务端使用。ET框架有很多创造性的设计：1.可用VS单步调试的分布式服务端，N变1一般来说，分布式
随着计算机系统规模变得越来越大，将所有的业务单元集中部署在一个或若干个大型机上的体系结构，已经越来越不能满足当今计算机系统，尤其是大型互联网系统的快速发展，各种灵活多变的系统架构模型层出不穷。布式的处理方式越来越受到业界的青睐——计算机系统正在经历一场前所未有的从集中式向分布式架构的变革。集中式与分布式集中式系统所谓的集中式系统就是指由一台或多台主计算机组成中心节点，数据集中存储于这个中心节点中，
转载
2023-06-30 14:24:06
211阅读
由于工作的原因，近两年多的时间开始接触分布式系统，在学习分布式系统之前，我认为的分布式仅仅就是把系统模块化独立部署，模块化之间采用webservice等可远程调用的方法进行连接，共同协助完成一个实际的业务流程，当然了，分离带来的部署复杂度也增加了，但是毕竟是分布式系统架构，这个缺点还是可以接受的，类似这样的概念，在我的潜意识中存在的很多年
为什么要用分布式锁?先上一张截图,这是在浏览别人的博客时看到的. 在了解为什么要用分布式锁之前,我们应该知道到底什么是分布式锁.锁按照不同的维度,有多种分类.比如1.悲观锁,乐观锁;2.公平锁,非公平锁;3.独享锁,共享锁;4.线程锁,进程锁;等等.我们平时用的锁,比如 lock,它是线程锁,主要用来给方法,代码块加锁.由于进程的内存单元是被其所有线程共享的,所以线程锁控制的实际是多个线
转载
2023-08-08 16:26:27
342阅读
微服务架构是分布式系统架构中的一种
原创
2022-12-13 10:28:14
345阅读
万法皆空，因果不空。随着摩尔定律碰到瓶颈，分布式架构越来越常见。从单点演变到分布式结构，首要问题之一就是数据一致性。很显然，如果分布式集群中多个节点处理结果无法保证一致，那么在其上的业务系统将无法正常工作。区块链系统是一个典型的分布式系统，必然也会碰到这些经典问题。本章将介绍分布式系统领域的核心技术，包括一致性、共识的定义，基本的原理和常见算法，最后还介绍了评估分布式系统可靠性的指标。一致性问题一
亚马逊经验分布式服务化架构思想实践最早的公司应该是亚马逊。因为早在 2002 年的时候，亚马逊 CEO 杰夫·贝索斯（Jeff Bezos）就向全公司颁布了几条架构规定。STEVEY对AMAZON和GOOGLE平台的吐槽亚马逊这么多年的实践让其可以运维和管理极其复杂的分布式服务架构。 1、分布式服务的架构需要分布式的团队架构。 2、分布式服务查错不容易。 一旦出现比较严重的故障，需要整体查错。 3
1、概述根据CAP（一致性、可用性、可靠性）的理论，鱼和熊掌不可兼得，P是必须要的，所以需要在C和A之间做平衡，实际上在互联网领域Ａ也是必须的，因此就不得不在Ｃ上做文章。于是有了弱一致或者最终一致，它不要求你在做完一个操作后能立马看到效果，只要在可接受的时间内看到正确的结果即可。解决分布式事务的思路就是避免分布式事务，具体来说就是利用本地事务+异步消息+重试+幂等去保证整个系统数据的最终一致性。
1.架构的分类架构一般可以分为技术架构，应用架构，业务架构: 1.业务架构从概念层帮助开发人员更好的理解系统。 2. 应用架构从逻辑层面帮助开发落地系统，如数据交互关系、应用形式、交互方式，是的整 个系统逻辑上更容易理解，步入大家熟知的SOA就属于应用架构的范畴 。 3.技术架构主要解决技术平台选型、如操作系统、中间件、设备、多机房、水平扩展、高可 用等问题。2.大型架构的网站演进2.1 电商案例
转载
2023-09-07 19:12:25
120阅读
[源码分析]Dynomite 分布式存储引擎 之 DynoJedisClient(1) 文章目录[源码分析]Dynomite 分布式存储引擎 之 DynoJedisClient(1)0x00 摘要0x01 背景概念1.1 Amazon Dynamo1.2 NetFlix Dynomite0x02 Netflix选型思路0x03 基础知识3.1 Data Center3.2 Rack3.2 Ring
本文是典型分布式系统分析系列的第四篇，主要介绍 Dynamo:https://en.wikipedia.org/wiki/Dynamo_(storage_system) ，一个在 Amazon 公司内部使用的去中心化的、高可用的分布式 key-value 存储系统。在典型分布式系统分析系列的第一篇MapReduce 中提出了本系列主要关心的问题：系统在性能、可扩展性、可用性、一致性之间的衡量，特别
一、分布式主流架构模型–SOA架构/微服务架构1.SOA架构（服务治理）：Service Oriented Architecture （面向服务的架构），是一种设计方法，服务之间通过相互依赖最终提供一系列的功能，一个服务通常以独立的形式村杂鱼操作系统进程中。各个服务之间通过网络调用。通常服务之间互相调用关系复杂， ESB（企业服务总线）来治理 SOA所解决的核心问题： 1、系统集成 （有序） 2、
前言现在的架构很多，各种各样的，如高并发架构、异地多活架构、容器化架构、微服务架构、高可用架构、弹性化架构等，还有和这些架构相关的管理型的技术方法，如 DevOps、应用监控、自动化运维、SOA 服务治理、去 IOE 等等，还有很多。那什么是分布式系统？分布式系统是支持分布式处理的软件系统，是由通信网络互联的多处理机体系结构上执行任务的系统。包括分布式操作系统、分布式程序设计语言及其编译系统、分布
转载
2023-07-10 16:35:38
95阅读
目前比较流行的分布式框架有dubbo，springcloud，JMX等，都是java实现的，但是在做c++项目时，也有分布式的需求，这时我们可以基于grpc自己设计一套分布式框架。 整体思路如下： Consumer服
一、部署规划1、部署环境各部署单元的软件部署情况如下：二、环境准备1、修改主机名[root@VM1 ~]# vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master60
[root@VM2 ~]# vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=slave61
[root@VM3 ~]#
转载
2023-09-08 19:55:50
93阅读
一、应用架构演进2006年前比较流行的三种经典架构：LAMP架构（Linux + Apache + Mysql（读写分离） + Php(前后台界面和业务逻辑)）MVC架构 ( springmvc/struts + spring + mybatis/hibernate + tomcat )EJB企业架构以上三种的共性：都是垂直应用架构。RPC架构：Remote Procedure Cal
