目录分布式集群微服务多线程高并发分布式系统设计理念分布式系统的目标与要素分布式系统设计两大思路：中心化和去中心化分布式分布式（distributed）是为了解决单个物理服务器容量和性能瓶颈问题而采用的优化手段，将一个业务拆分成不同的子业务，分布在不同的机器上执行。服务之间通过远程调用协同工作，对外提供服务。该领域需要解决的问题极多，在不同的技术层面上，又包括：分布式缓存、分布式数据库、分布式计算、
转载
2023-12-13 21:34:59
139阅读
面对计算密集型的任务，除了多进程，就是分布式计算，如何用 Python 实现分布式计算呢？今天分享一个很简单的方法，那就是借助于 Ray。什么是 RayRay 是基于 Python 的分布式计算框架，采用动态图计算模型，提供简单、通用的 API 来创建分布式应用。使用起来很方便，你可以通过装饰器的方式，仅需修改极少的的代码，让原本运行在单机的 Python 代码轻松实现分布式计算，目前多用于机器学
转载
2023-08-18 02:11:57
357阅读
悲观锁认为自己在使用数据的时候一定有别的线程hronizedsynchronized关键字和Lock...
原创
2022-12-13 10:24:02
389阅读
今天读了redis分布式锁的相关内容，刚才写了很多，结果发布的时候，出了bug，正文内容全没了，重新写一下。目前redis因其优良的性能及多种数据结构的支持，已经被越来越多的公司使用，其中一些高并发场景，如抢购、秒杀、抢票等，会用到redis来实现分布式锁及减库存操作，但是，在使用过程中，可能出现一些超卖的情况，这些基本上是由于redis分布式锁实现方式及减库存操作非原子性引起的，在此分析下常见的
转载
2023-08-15 16:52:52
64阅读
分布式锁实现原理redis分布式锁到底安全吗 缓存穿透 分布式锁，是控制分布式系统之间同步访问共享资源的一种方式。在分布式系统中，常常需要协调他们的动作。如果不同的系统或是同一个系统的不同主机之间共享了一个或一组资源，那么访问这些资源的时候，往往需要互斥来防止彼此干扰来保证一致性，在这种情况下，便需要使用到分布式锁。1、Redis实现分布式锁的原理：setnx 是『SET if Not eXis
转载
2023-10-02 10:19:54
73阅读
RPC（Remote Procedure Call Protocol）RPC使用C/S方式，采用http协议,发送请求到服务器，等待服务器返回结果。这个请求包括一个参数集和一个文本集，通常形成“classname.methodname”形式。优点是跨语言跨平台，C端、S端有更大的独立性，缺点是不支持...
转载
2015-12-22 09:59:00
94阅读
2评论
Android代码庞大，如果你是做android系统开发的会经常做full build, 代码编译时间一般4核CPU你得2个小时左右吧，一天你也就编译那么几次了得了，象我们用的40核的服务器一般做full build 18分钟左右，但是一般的工程师在自己的PC上如何编译的更快呢？网上查看了一些资料大部分都是用的distcc，distcc已经好几年的使用时间了，其主要是针对C, C++进行分布式编译
springboot实现分布式锁，java实现分布式锁，redisson实现分布式锁一、Redisson二、java实现Redisson，实现锁需求三、SpringBoot实现Redisson，实现分布式锁需求
一、RedissonRedisson是Redis官方推荐的Java版的Redis客户端。它提供的功能非常多，也非常强大，这里我们学习使用它的分布式锁功能。
二、ja
原创
2022-03-30 13:39:15
1498阅读
一、介绍在分布式系统中，对于数据的隐私的保证性，完整性和可用性显得至关的重要。安全攻击的手段可以去窃取，篡改用户的信息。正是因为如此种种的情况发生了，才有了后面一系列的安全的相关防御方法。1、这些安全的机理本质上就是以一种预想的方式对资源进行一层包装。这种包装隔离的手段可以是物理上的隔离，比如对于公司内的资源，只允许内网中的人使用，外面的人是无法访问的，当然也可以是网络层次上的隔离。2、与安全紧密
转载
2023-07-01 09:50:04
75阅读
一、简介Redis 实现分布式锁，思路是使用 setnx 命令在 Redis 上创建相同的 Key，因为 Key 值不允许重复，哪个客户端能够创建成功，就能获取到锁，否则，就会进行等待，当释放锁后，就会通知客户端去争夺锁资源。和 set 命令不同，set 如果设置相同的键，就会覆盖原来的值，返回 ok，而使用 setnx 命令，如果执行成功，则返回 1，表示成功获得锁，执行失败，返回 0，获得锁失
转载
2023-06-23 22:26:29
240阅读
在对一些共享资源进行操作的时候，为了保证数据的安全性，我们经常会使用到锁，比如像synchronized、ReentrantLock等。这些是针对在同一个JVM中，但是在分布式情况下，程序的运行是在不同的服务器上，所以对应的也就是不同的JVM，用这些方法就不能够实现数据安全了。基于Redis、zookeeper则是可以实现在分布式情况下仍然能够保证数据安全性的分布式锁。在用Redis实现分布式锁之
转载
2023-06-20 14:50:40
143阅读
什么是分布式数据存储系统分布式存储系统的核心逻辑，就是将用户需要存储的数据根据某种规则存储到不同的机器上，当用户想要获取指定数据时，再按照规则到存储数据的机器里获取。如下图所示，当用户（即应用程序）想要访问数据 D，分布式操作引擎通过一些映射方式，比如 Hash、一致性 Hash、数据范围分类等，将用户引导至数据 D 所属的存储节点获取数据。静下心来想一下，获取数据的整个过程与你到商店购物的过程是
转载
2024-04-29 12:57:16
118阅读
1. 介绍scrapy-redis框架scrapy-redis
一个三方的基于redis的分布式爬虫框架，配合scrapy使用，让爬虫具有了分布式爬取的功能。
github地址： https://github.com/darkrho/scrapy-redis2. 分布式原理核心服务器称为master，而把用于跑爬虫程序的机器称为slave我们知道，采用scrapy框架抓取网页
转载
2023-10-08 15:31:15
71阅读
最近在工作中使用到了分布式锁，特此总结一下便于加深自己理解。将会从如下的几个方面进行讲述。一、如何实现实现一个分布式锁分布式锁的实现本质上就是基于redis的命令去实现的，setnx按照官方的定义是这样的：Redis SETNX 命令用于将 Redis 的 KEY 的值设为 value ，当且仅当 KEY 不存在。若给定的 KEY 已经存在，则 SETNX 不做任何动作。那按照这个定义去试一试会得
转载
2023-06-23 20:37:16
138阅读
首先要说下哈：这篇文章是由自己的理解整理而成，由于自己的理解有限，难免会有疏忽之处，若有不对的地方，还望大神指点一二。若要实现redis分布式，在我看来，有常用的两种方式：a. 使用ShardedJedis--客户端分片；b. 使用redis cluster--服务端分片。下面简单说下，这两种实现方式的优缺点：1. 使用ShardedJedis： 2. 使用redis cluster：
转载
2023-07-07 10:33:44
200阅读
事务是数据库系统中非常有趣也非常重要的概念，它是数据库管理系统执行过程中的一个逻辑单元，它能够保证一个事务中的所有操作要么全部执行，要么全不执行；在 SOA 与微服务架构大行其道的今天，在分布式的多个服务中保证业务的一致性就需要我们实现分布式事务。在这篇文章中，我们将介绍 事务的实现原理、分布式事务的理论基础以及实现原理。1、事务在文章的开头，我们已经说过事务是数据库管理系统执行过程中的
转载
2024-05-01 23:01:34
53阅读
一、锁的作用锁是为了解决多线程情况下，对于共享资源的访问安全问题。 但是当系统是分布式的时候，本地锁已经没法锁住所需要的资源，因为本地获取了锁，其他系统无法得知本地锁的情况。 分布式锁，是独立于系统的第一方实现的功能。因而状态可供不同系统获取。二、分布式锁实现2.1、基于redis实现基于redis实现的分布式锁是当下比较流行的一种实现方式。 利用redis的set命令，用全路径类名方法名作为ke
转载
2023-10-07 19:43:07
219阅读
如果在多个服务中需要对不同的数据库进行操作。 因为不同服务操作的数据库都不同，所以保证在同一个事务中完成操作显然是不科学的。 那实现分布式事务的思想： 1》 方法入口，创建一条日志记录，状态定义为初始状态，即保存本条日志记录【可以保存在数据库中，也可以写出到本地磁盘文件】 2》 可以在异步线程或在定
转载
2018-07-10 12:29:00
534阅读
2评论
目前市面上很多网站及应用都是分布式部署的，分布式场景中，数据一致性问题一直都是比较重要的话题。在单机环境中，Java提供了很多方法去处理多线程并发方面的情况，例如synchronized，ReentrantLock，ReentrantReadWriteLock等等，而在分布式场景中，这些API就无能为力了，所以引入了分布式锁这个概念。 一、为什么要用分布式锁 要想弄清楚分布式锁，前提就得知
转载
2024-05-01 19:43:40
8阅读
1.分布式计算概述分散->汇总模式：1. 将数据分片，多台服务器各自负责一部分数据处理2. 然后将各自的结果，进行汇总处理3. 最终得到想要的计算结果1. 什么是计算、分布式计算？ 计算：对数据进行处理，使用统计分析等手段得到需要的结果 分布式计算：多台服务器协同工作，共同完成一个计算任务 2. 分布式计算常见的2种工作模式 分散
->
汇总
（
转载
2024-01-05 22:14:23
140阅读
