今天,深层次和群里同学讨论关于分布式系统问题汇总如下:
单体应用,分布式部署:保存会话信息(spring-session)客户端cookies + 服务端 redis = 用户信息单机应用中，HttpSession是通过Servlet容器创建和管理的，servlet容器一旦停止服务，那么session也随之消失；但如果session被保存到redis中，只要redis服务
转载
2024-08-19 14:35:47
65阅读
概念：reduce-side join技术是灵活的，但是有时候它仍然会变得效率极低。由于join直到reduce()阶段才会开始，我们将会在网络中传递shuffle所有数据，而在大多数情况下，我们会在join阶段丢掉大多数传递的数据。因此我们期望能够在map阶段完成整个join操作。主要技术难点： 在map阶段完成join的主要困难就是mapper可能需要与一个它自己不能获得的数据进行join操作
转载
2023-12-26 17:28:21
28阅读
由于工作的原因，近两年多的时间开始接触分布式系统，在学习分布式系统之前，我认为的分布式仅仅就是把系统模块化独立部署，模块化之间采用webservice等可远程调用的方法进行连接，共同协助完成一个实际的业务流程，当然了，分离带来的部署复杂度也增加了，但是毕竟是分布式系统架构，这个缺点还是可以接受的，类似这样的概念，在我的潜意识中存在的很多年
转载
2023-10-07 19:49:20
156阅读
随着计算机系统规模变得越来越大，将所有的业务单元集中部署在一个或若干个大型机上的体系结构，已经越来越不能满足当今计算机系统，尤其是大型互联网系统的快速发展，各种灵活多变的系统架构模型层出不穷。布式的处理方式越来越受到业界的青睐——计算机系统正在经历一场前所未有的从集中式向分布式架构的变革。集中式与分布式集中式系统所谓的集中式系统就是指由一台或多台主计算机组成中心节点，数据集中存储于这个中心节点中，
转载
2023-06-30 14:24:06
278阅读
分布式分布式概述分布式分布式（distributed）是为了解决单个物理服务器容量和性能瓶颈问题而采用的优化手段，将一个业务拆分成不同的子业务，分布在不同的机器上执行。服务之间通过远程调用协同工作，对外提供服务。该领域需要解决的问题极多，在不同的技术层面上，又包括：分布式缓存、分布式数据库、分布式计算、分布式文件系统等，一些技术如MQ、Redis、zookeeper等都跟分布式有关。从理念上讲，分
转载
2024-02-21 21:36:24
75阅读
RPC的全称为Remote Procedure Call， 他是一种进程间通信放hi，允许向调用本地方法一样调用远程服务，对于上层应用来说透明化，屏蔽服务调用过程。目前业界由许多开源框架，例如Apache Thrift(Facebook开源) Avro-RPC(Hadoop子项目) Hessian(caucho提供的基于binary-RPC) gRPC(google开源) 原理虽然各种开源框
转载
2023-09-10 15:31:00
130阅读
分布式的体系架构总结1、什么是分布式应用架构？简单的说就是将一个业务拆分成多个子业务，部署在不同的服务器上。（集群：同一个业务，部署在多个服务器上。）2、为什么要使用分布式应用架构？在单一应用架构中，随着业务需求的增加，架构随之变得也越来越复杂，因而系统的拆分成为不可避免的事情，由此演变为垂直应用架构。垂直应用架构解决了单一架构的扩容问题，但是当垂直架构增多时，应用之间的交互，相互调用则不可避免。
转载
2023-07-09 13:01:40
171阅读
一、应用架构演进2006年前比较流行的三种经典架构：LAMP架构（Linux + Apache + Mysql（读写分离） + Php(前后台界面和业务逻辑)）MVC架构 ( springmvc/struts + spring + mybatis/hibernate + tomcat )EJB企业架构以上三种的共性：都是垂直应用架构。RPC架构：Remote Procedure Cal
转载
2024-02-21 21:24:52
78阅读
分布式架构设计分布式理论与分布式架构设计理论1. 分布式架构介绍2.分布式理论2.1 数据一致性2.2 CAP定理3.分布式一致性协议4.分布式系统设计策略5. 分布式架构服务调用5.1 服务调用5.2 实现方式6.分布式服务治理6.1 服务协调6.2 服务削峰6.3 服务降级6.4 服务限流6.5 服务熔断6.6 服务链路追踪 分布式理论与分布式架构设计理论1. 分布式架构介绍通俗的理解，所谓
转载
2023-07-31 17:13:56
120阅读
前置知识：软件架构1.单体架构：所有的功能集中在一个项目内。优点：开发成本低、周期短、适合小项目。缺点：因为全部功能都集中在一个工程中，耦合性过高，不利于大型项目的开发、扩展和维护，而且技术栈受限只能使用一种语言开发。2.垂直架构：按照业务进行切割，形成小的单体项目。优点：技术栈可以扩展（不同的系统可以用不同的编程语言编写）。功能集中在一个项目中，不利于开发、扩展、维护。缺点：项目之间功能冗余、数
转载
2024-08-18 19:22:37
198阅读
论文重读: Amazon Dynamo 马上要写开题报告了，初步打算会做分布式计算方面（或是某些人口中的云计算）的一些研究。之前也看了不少相关的论文，但基本上都是浑沦吞枣，不求甚解。之后在某搜索引擎公司呆了一段时间，对这方面又有了新的认识，所以结合公司遇到的问题，在细细研读一遍这个领域的一些重要的论文。今天看的是Amazon公开的一个分布式KV数据库Dynamo。互联网公司的大规模分布式计算系统
一、分布式理论1.分布式架构系统回顾1.1. 分布式系统概念分布式系统是一个硬件与软件组件分布在不同的网络计算机上，彼此之间仅仅通过消息传递进行通信和协调的系统。分布式与集群的区别：集多个人在一起做同样的事情。分布式：多个人在一起做不同的事情。分布式系统的特点：分布性对等性：无主从关系并发性缺乏全局时钟故障总是会发生1.2. 分布式系统的发展阿里巴巴发起的"去 IOE"运动 (IOE 指的是
转载
2023-12-31 21:05:13
122阅读
目前比较流行的分布式框架有dubbo，springcloud，JMX等，都是java实现的，但是在做c++项目时，也有分布式的需求，这时我们可以基于grpc自己设计一套分布式框架。 整体思路如下： Consumer服
转载
2024-06-17 20:32:58
137阅读
一、部署规划1、部署环境各部署单元的软件部署情况如下：二、环境准备1、修改主机名[root@VM1 ~]# vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master60
[root@VM2 ~]# vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=slave61
[root@VM3 ~]#
转载
2023-09-08 19:55:50
150阅读
微服务架构是分布式系统架构中的一种
原创
2022-12-13 10:28:14
445阅读
一、前言 在大数据系统中，分布式系统已经成为一个无法避免的组件，如zookeeper已经成为了工业届的标准。所以对于大数据的研究，也必须要研究分布式系统的特点。二、集中式系统 由一台或多台计算机组成的中心节点，数据集中存储在这个中心节点中，并且整个系统的所有业务单元都集中部署在这个中心节点上，系统的所有功能均由其集中处理。其部署简单，不用考虑多个节点间的分布式协作问题。三、分布式系统 分布式
转载
2023-08-15 17:54:14
112阅读
[源码分析]Dynomite 分布式存储引擎 之 DynoJedisClient(1) 文章目录[源码分析]Dynomite 分布式存储引擎 之 DynoJedisClient(1)0x00 摘要0x01 背景概念1.1 Amazon Dynamo1.2 NetFlix Dynomite0x02 Netflix选型思路0x03 基础知识3.1 Data Center3.2 Rack3.2 Ring
转载
2023-10-07 18:56:56
172阅读
前言现在的架构很多，各种各样的，如高并发架构、异地多活架构、容器化架构、微服务架构、高可用架构、弹性化架构等，还有和这些架构相关的管理型的技术方法，如 DevOps、应用监控、自动化运维、SOA 服务治理、去 IOE 等等，还有很多。那什么是分布式系统？分布式系统是支持分布式处理的软件系统，是由通信网络互联的多处理机体系结构上执行任务的系统。包括分布式操作系统、分布式程序设计语言及其编译系统、分布
转载
2023-07-10 16:35:38
129阅读
1、概述根据CAP（一致性、可用性、可靠性）的理论，鱼和熊掌不可兼得，P是必须要的，所以需要在C和A之间做平衡，实际上在互联网领域Ａ也是必须的，因此就不得不在Ｃ上做文章。于是有了弱一致或者最终一致，它不要求你在做完一个操作后能立马看到效果，只要在可接受的时间内看到正确的结果即可。解决分布式事务的思路就是避免分布式事务，具体来说就是利用本地事务+异步消息+重试+幂等去保证整个系统数据的最终一致性。
转载
2024-06-27 07:35:10
75阅读
本文是典型分布式系统分析系列的第四篇，主要介绍 Dynamo:https://en.wikipedia.org/wiki/Dynamo_(storage_system) ，一个在 Amazon 公司内部使用的去中心化的、高可用的分布式 key-value 存储系统。在典型分布式系统分析系列的第一篇MapReduce 中提出了本系列主要关心的问题：系统在性能、可扩展性、可用性、一致性之间的衡量，特别
转载
2024-06-04 19:09:38
118阅读
