之前一篇文章介绍过redis主从复制及搭建过程，redis主从并不是一个高可用的方案，一但master宕机，redis将无法提供写服务，因此需要一种机制可以自动将slave升级为master来保证redis主从的高可用，那么就要用到redis-sentinel。什么是redis-sentinel哨兵(sentinel)是一个分布式系统， 用于对主从结构中的每台服务器进行 【监控】,当出现故障时通过
转载
2023-07-11 10:44:10
0阅读
Docker安装FastDFS分布式文件系统：
• 1.首先下载FastDFS文件系统的docker镜像
• 2.拉取镜像
• 3.查看镜像
• 4.使用docker镜像构建tracker容器（跟踪服务器，起到调度的作用）：
• 5.使用docker镜像构建storage容器（存储服务器，提供容量和备份服务）：
转载
2023-07-11 07:31:58
122阅读
文章目录redis安装配置主从复制集群复制原理 redis安装在linux中安装redis过程如下：（1）搭建实验环境 准备三台虚拟机+一台物理机server1（172.25.10.1）redis主服务器server2（172.25.10.2）redis从服务器server3（172.25.10.3）redis从服务器物理机172.25.10.250三台服务器为真机上所做的快照，实验环境干净！实
转载
2023-05-29 16:51:52
58阅读
最近在工作中使用到了分布式锁，特此总结一下便于加深自己理解。将会从如下的几个方面进行讲述。一、如何实现实现一个分布式锁分布式锁的实现本质上就是基于redis的命令去实现的，setnx按照官方的定义是这样的：Redis SETNX 命令用于将 Redis 的 KEY 的值设为 value ，当且仅当 KEY 不存在。若给定的 KEY 已经存在，则 SETNX 不做任何动作。那按照这个定义去试一试会得
转载
2023-06-23 20:37:16
138阅读
提纲Redis安装整体架构Redis主从结构搭建Redis容灾部署（哨兵sentinel）Redis常见问题
Redis安装发行版：CentOS-6.6 64bit内核：2.6.32-504.el6.x86_64CPU：intel-i7 3.6G内存：2G
下载redis，选择合适的版本[root@rocket software]# wget http://download.
转载
2023-09-16 02:18:04
8阅读
Redis集群基本介绍简介 Redis Cluster 是 Redis 的分布式解决方案，在3.0版本正式推出，有效地解决了 Redis 分布式方面的需求。当遇到单机内存、并发、流量等瓶颈时，可以采用 Cluster 架构方案达到负载均衡的目的。架构图
转载
2023-07-09 19:12:50
130阅读
首先要说下哈：这篇文章是由自己的理解整理而成，由于自己的理解有限，难免会有疏忽之处，若有不对的地方，还望大神指点一二。若要实现redis分布式，在我看来，有常用的两种方式：a. 使用ShardedJedis--客户端分片；b. 使用redis cluster--服务端分片。下面简单说下，这两种实现方式的优缺点：1. 使用ShardedJedis： 2. 使用redis cluster：
转载
2023-07-07 10:33:44
200阅读
在对一些共享资源进行操作的时候，为了保证数据的安全性，我们经常会使用到锁，比如像synchronized、ReentrantLock等。这些是针对在同一个JVM中，但是在分布式情况下，程序的运行是在不同的服务器上，所以对应的也就是不同的JVM，用这些方法就不能够实现数据安全了。基于Redis、zookeeper则是可以实现在分布式情况下仍然能够保证数据安全性的分布式锁。在用Redis实现分布式锁之
转载
2023-06-20 14:50:40
143阅读
一、简介Redis 实现分布式锁，思路是使用 setnx 命令在 Redis 上创建相同的 Key，因为 Key 值不允许重复，哪个客户端能够创建成功，就能获取到锁，否则，就会进行等待，当释放锁后，就会通知客户端去争夺锁资源。和 set 命令不同，set 如果设置相同的键，就会覆盖原来的值，返回 ok，而使用 setnx 命令，如果执行成功，则返回 1，表示成功获得锁，执行失败，返回 0，获得锁失
转载
2023-06-23 22:26:29
240阅读
目前主流的几个主键生成策略：1.UUID 2.数据库主键自增 3.基于redis分布式ID生成 (本次博文内容) 4.其他ID生成策略为什么不使用第一、第二、第四种方式：UUID生成的是以字符串为主，且需要进行多次转换对于效率有一定影响，且其ID由字符+数字组成的随机字符串，可读性较差。数据库自增严重影响性能,其他ID生成策略部分优于第三种，但是不够通过，且大部分有着局限性，故不推荐。 分布式ID
转载
2023-10-07 21:34:32
121阅读
#下载最新的redis5.0
wget http://download.redis.io/releases/redis-5.0.3.tar.gz
tar -zxvf redis-5.0.3.tar.gz
cd redis-5.0.3
make
make install /usr/local/src/redis/redis-cluster
cd /usr/local/src/redis/redis
转载
2023-05-25 15:12:06
75阅读
全分布式redis集群搭建：单节点多实例1 删除2.8 bin目录及文件: # cd /opt/sxt/redis # rm -fr bin2 ftp 上传redis-cluster 目录到根目录 2 redis-cluster目录下解压redis 3.0 : # tar xf redis.....gz3 redis目录下make命令编译拷贝bin至 /opt/sxt/redis/下
转载
2023-06-13 12:47:45
124阅读
1.为什么需要redis集群？1.1 为什么需要集群？1.1.1 性能Redis本身的QPS已经很高了，但是如果在一些并发量非常高的情况下，性能还是会受到影响。这个时候我们希望有更多的Redis服务来完成工作。1.1.2 扩展第二个是出于存储的考虑。因为 Redis所有的数据都放在内存中，如果数据量大，很容易受到硬件的限制。升级硬件收效和成本比太低，所以我们需要有一种横向扩展的方法。1.1.3 可
转载
2023-08-15 17:46:44
93阅读
本着交流和学习的心态和大家分享本人的第一篇博客（客套话就不说了，其实就是说说自己编写的思路和及对问题的解决办法）。先说说技术路线，选择docker,scrapy,scrapy_redis 的原因很简单，省钱又方便。（苦比的大四党并不享用云主机优惠）本爬虫主要抓取了豆瓣movie，book，music分类中的资源。先看看最后抓取的数据量（大概12万的数据(爬虫待优化)）好了，下面就讲讲我的心路历程。
转载
2023-07-11 17:09:10
247阅读
前言我的京东价格监控网站需要不间断爬取京东商品页面，爬虫模块我采用了Scrapy+selenium+Headless Chrome的方式进行商品信息的采集。由于最近爬虫用的服务器到期，需要换到新服务器重新部署，所以干脆把整个模块封装入Docker，以便后续能够方便快速的进行爬虫的部署。同时，由于我的Scrapy整合了redis，能够支持分布式爬取，Docker化后也更方便进行分布式的
转载
2023-07-11 13:58:43
154阅读
环境搭建与部署是产品实际开发过程中的第一步，其操作过程极易产生错误，如：在若干不同版本操作系统、不同配置的机器上搭建无差异化开发，测试环境难度高；产品研发环境与发布环境往往不同，正式上线通常会出现难以预料的问题，产品发布风险较高。项目扩大的过程中，参与人员流动性较大，每个人都要部署自己的开发环境，着实浪费时间。而且人为操作存在不可避免的失误，改正这些失误需要消耗更多的时间，代价较大，而Docker
转载
2023-10-07 15:54:01
95阅读
使用docker构建分布式接口服务
docker的安装
·# 更新软件包，线上环境慎用
yum update
# 安装docker
yum install -y docker
# 启动docker 服务
systemctl start docker
# 查看docker版本
docker version
转载
2023-07-19 19:23:50
25阅读
分布式id解决方案一、从mysql本身出发专门用一张表记录最后一次的idselect last_insert_id()每个mysql的库中自增的值不一样A库 从0开始每次增加2
B库 从1开始每次增加2同2相似A库 从1开始每次增加1
B库 从100万开始每次增加1二、通过生成的UUID存值String s = UUID.randomUUID().toString();数字生成为32位，浪费资源；
转载
2024-01-03 15:12:46
88阅读
redis分布式存储的常见方案有3种：
1.主从（Master/Slave）模式；
2.哨兵（Sentinel）模式；
3.集群(Cluster)模式
转载
2023-05-25 10:33:42
53阅读
一、介绍 Rsdis是一个开源的使用C语言编写、开源、支持网络、可基于内存亦可持久化的日志型、高性能的Key-value数据库，并提供多种语言的API。它通常被称为数据结构服务器，因为值（value）可以是字符串（String）、哈希（Map）、列表（list）、集合（sets）和有序集合（sorted sets）等类型。Redis的特点：
（1）支持数据持久化，可以将内
转载
2023-09-22 11:04:37
75阅读
