公众号JavaEdge的博客_Java,Mysql,消息队列,Redis,系统设计(2)

按发布时间
按阅读量
2021年06月 310篇

全部3428篇
2025年206篇 09月22篇 08月24篇 07月21篇 06月20篇 05月26篇 04月24篇 03月22篇 02月25篇 01月22篇 2024年231篇 12月25篇 11月18篇 10月11篇 09月17篇 08月25篇 07月13篇 06月26篇 05月20篇 04月15篇 03月19篇 02月16篇 01月26篇 2023年252篇 12月23篇 11月23篇 10月23篇 09月23篇 08月23篇 07月23篇 06月20篇 05月8篇 04月21篇 03月7篇 02月22篇 01月36篇 2022年1471篇 12月15篇 11月4篇 10月12篇 09月25篇 08月28篇 07月6篇 06月6篇 05月23篇 04月39篇 03月999篇 02月24篇 01月290篇 2021年1268篇 12月22篇 11月28篇 10月25篇 09月29篇 08月35篇 07月819篇 06月310篇
推荐/精选
全部

全部原创转载翻译

基于Redis的bitmap位图实现用户签到功能

很多应用比如签到送积分、签到领取奖励：签到 1 天送 10 积分，连续签到 2 天送 20 积分，3 天送 30 积分，4 天以上均送 50 积分等如果连续签到中断，则重置计数，每月初重置计数显示用户某个月的签到次数在日历控件上展示用户每月签到情况，可以切换年月显示最简单的设计思路就是利用MySQL保存签到数据（t_user_sign），如下：字段名描述 id 数据表主键（AUTO

Redis

原创 2021-06-24 14:58:00 1692 阅读

使用Redis实现用户积分及TopN排行榜功能

1 需求添加积分在用户签到的基础上添加用户积分，签到 1 天送 10 积分，连续签到 2 天送 20 积分，3 天送 30 积分，4 天以上均送 50 积分。积分排行榜 2 表设计利用MySQL保存积分数据这类似于一张日志表，因此数据量很大，想要统计用户积分做排行榜时，表数据可能如下： 3 实现TopN积分排行榜 MySQL 方案统计 SQL 获取排行榜前二十，如果重复排名，则后一位就靠

Redis

原创 2021-06-24 14:57:45 1442 阅读

Redis实现附近的人

各种社交软件里面都有附件的人的需求，在该应用中，我们查询附近 1 公里的食客，同时只需查询出 20 个即可。解决基于地理位置的搜索，很多数据库品牌都支持：MySQL、MongoDB、Redis 等都能支持地理位置的存储。当用户登录应用时，或者保持用户登录后用户在使用应用时，客户端是可以时刻获取用户位置信息的（前提是用户要开启位置获取的权限），客户端获取到最新的地理位置后，上传到后端服务器进行更

Redis

原创 2021-06-24 14:57:32 610 阅读

Redis缓存设计原理及实战

缓存是什么？缓存介于应用程序和物理数据源之间。作用降低应用对物理数据源访问的频次，提高应用的运行性能。缓存内的数据是对物理数据源中的数据的复制，应用程序在运行时从缓存读写数据，在特定的时刻或事件会同步缓存和物理数据源的数据。通常直接查询 MySQL，但在高并发下，大量查询 MySQL 数据库会导致数据库性能变慢，解决方案就是在应用层与 MySQL 之间搭建一个 Cache 层，让请求先访问

Redis

原创 2021-06-24 14:57:19 772 阅读

都2021了还不懂Redis的网络通信协议？

一切网络通信，皆需要双方遵守协议才能互联。Redis协议在以下几点之间做出了折衷：简单的实现快速被计算机解析简单到可被人工解析网络层 Redis在TCP端口6379上监听到来的连接，客户端连接到来时，Redis服务器为此创建一个TCP连接。在客户端与服务器端之间传输的每个Redis命令或者数据都以\r\n结尾。请求 Redis接收由不同参数组成的命令。一旦收到命令，将会立刻被处理，并响

Redis

原创 2021-06-24 14:57:01 352 阅读

Redis管道Pipelining原理详解

请求/响应协议和RTT Redis是一种基于客户端-服务端模型及请求/响应协议的TCP服务。这意味着一个请求会遵循以下步骤：客户端向服务端发送一个查询请求，并监听Socket返回，通常以阻塞模式，等待服务端响应服务端处理命令，并将结果返回给客户端。因此，例如下面是4个命令序列执行情况： Client: INCR X Server: 1 Client: INCR X Server: 2 Cl

Redis

原创 2021-06-24 14:56:31 537 阅读

大厂Redis性能优化指南

1 客户端优化 pipeline 批量操作连接池应用 2 合理的淘汰机制设置合理的内存大小设置合理的过期时间选择合适的淘汰策略 3 内存优化 https://redis.io/topics/memory-optimization不同大小，底层数据结构不同： hash-max-ziplist-value 64 zset-max-ziplist-value 64 4 CPU优化不要阻塞

Redis

原创 2021-06-24 14:56:15 232 阅读

Redis竟然还有自定义网络通信协议？

凡是网络通信，皆需要双方遵守一致的协议才能互联。Redis协议在如下几点之间做出了折衷：实现简单被计算机快速解析有一定的可读性网络层 Redis在TCP端口6379上监听到来的连接，客户端连接到来时，Redis服务器为此创建一个TCP连接。在客户端与服务器端之间传输的每个Redis命令或者数据都以\r\n结尾。请求 Redis接收由不同参数组成的命令。一旦收到

Redis

原创 2021-06-24 14:56:01 253 阅读

Redis 事件循环函数serverCron

Redis将serverCron作为时间事件来运行，确保它每隔一段时间自动运行一次。serverCron需在Redis服务器运行期间一直定期运行，所以它是一个循环时间事件： serverCron 会一直定期执行，直到服务器关闭。 Redis 2.6 规定 serverCron 10次/s，即每 100ms/次。Redis 2.8 开始，用户可以通过修改 hz 选项来调整 serverCron的

Redis

原创 2021-06-24 14:55:32 311 阅读

Redis热点key解决方案

1 热点key的产生原因 1.1 用户消费的数据>>>生产的数据比如秒杀活动、热点微博、热评，某件商品被数万次点击浏览或购买时，就会造成热点问题被大量发布、浏览的热点新闻、热点评论等读多写少场景也会产生热点问题 1.2 请求的分片过于集中，突破单点性能极限在服务端读数据进行访问时，往往会对数据进行分片，此过程中会在某一主机 Server 上对相应的 Key 进行访问，当访

Redis

原创 2021-06-24 14:55:19 529 阅读

Redis大Key解决方案

2 大Key 如果一个Key的Value特别大，那么可能会对Redis产生巨大的性能影响，因为Redis是单线程模型，对大Key进行查询或删除等操作，可能会引起Redis阻塞甚至是高可用切换。应该如何查询Redis中的大Key，以及如何在设计上实现大Key的拆分呢？ 2.1 单个K存储的V很大 key分类如下：该key需要每次都整存整取尝试将对象分拆成几个K.V，使用multiGet获取值

Redis

原创 2021-06-24 14:55:03 1435 阅读

如何快速定位 Redis 热 key

背景在 Redis 中，热 key 指的是那些在一段时间内访问频次比较高的键值，具体到业务上，商品的限时抢购、瞬时的新闻热点或某个全局性的资源，都极有可能产生热点 key。热点 key 的出现可能会对系统的稳定性和可用性造成影响，比如对应节点的网卡带宽被打满，出现丢包重传，请求波动耗时大幅上升，甚至影响到业务的正常使用，引发用户的不满。因此，在日常的工作中，我们需要着重避免这种情况的出现，比

Redis

转载 2021-06-24 14:54:28 418 阅读

掌握Redis的Sentinel哨兵原理,助你拿到25k的offer!

1 Redis Sentinel的意义 master宕机了咋整？等运维手工从主切换，再通知所有程序把地址统统改一遍重新上线？那么服务就会停滞很久，显然对于大型系统这是灾难性的！所以必须有高可用方案，当故障发生时可自动从主切换，程序也不用重启，不必手动运维。Redis 官方就提供了这样一种方案 —— Redis Sentinel(哨兵)。 sentinal，哨兵，redis集群架构中非常重要的一个

Redis

原创 2021-06-24 14:54:12 169 阅读

阿里华为等大厂的Redis分布式锁是如何设计的?

1 本地锁常用的即 synchronize 或 Lock 等 JDK 自带的锁，只能锁住当前进程，仅适用于单体架构服务。而在分布式多服务实例场景下必须使用分布式锁 2 分布式锁 2.1 分布式锁的原理厕所占坑理论可同时去一个地方“占坑”：占到，就执行逻辑否则等待，直到释放锁可通过自旋方式自旋 “占坑”可以去Redis、DB、任何所有服务都能访问的地方。 2.2 分布式锁演进一阶段 /

Redis

原创 2021-06-24 14:53:52 192 阅读

华为大佬整理全网最全Redis数据结构的大厂最佳实践

1 概述数据结构和内部编码 Redis 没有传统关系型数据库的Table 模型 schema 所对应的db仅以编号区分。同一个db 内，key 作为顶层模型，它的值是扁平化的。也就是说db 就是key的命名空间key的定义通常以“:” 分隔，如：Article:Count:1我们常用的Redis数据类型有：string、list、set、map、sorted-set redisObject

Redis

原创 2021-06-24 14:53:38 221 阅读

春招掌握这些Redis分区技巧,保你拿到阿里字节的offer!

分片，Redis 数据的分布方式，分片就是将数据拆分到多个 Redis 实例，这样每个实例将只是所有键的一个子集。为什么要分区呢？随着请求量和数据量的增加，一台机器已经无法满足需求，就需要把数据和请求分散到多台机器。这就需要引入分布式存储。分布式存储的特性：增强可用性如果数据库的某个节点出现故障，在其他节点的数据仍然可用维护方便如果数据库的某个节点出现故障，需要修复数据，只需修复该节

Redis

原创 2021-06-24 14:53:21 263 阅读

碾压阿里面试官!RedisCluster集群全网最全知识点!

面试官眼神轻蔑，好像觉得我的应用很low，问道：为什么需要Redis Cluster？并发量redis 本身 10w/s，但我们的业务已经需要100 w/s 了数据量一个 redis 及其内存 16~256G，但我们的业务就是强，需要 500G 了解决问题的办法不止于简单地加机器。并发量大了 =》主从复制解决 =》主从稳定性 =》哨兵解决 =》单节点的写能力、存储能力、动态扩容都很

Redis

原创 2021-06-24 14:53:05 295 阅读

Linux环境下 RabbitMQ 的下载与安装

0 环境 CentOS7 RabbitMQ 3.6.5 erlang 18.3 socat rabbitmq是使用erlang语言编写的，所以需要先安装erlang，其次rabbitmq安装依赖于socat，所以三个安装包都需要下载。另外rabbitmq对于erlang的版本是有要求的，这个可以去官网查看。 0.1 Mac本地文件上传通过ssh连接本地虚拟机中的CentOS 7 服务器，将所

Linux

原创 2021-06-24 14:52:16 521 阅读

Linux再学习（一）-学习路线规划

1 抛弃旧文化，迎接Linux命令新文化 Linux第一步，从Windows思维，切换到Linux的“命令行+文件”模式在Linux中，做什么都有相应命令。一般就在bin或者sbin目录下，数量繁多。如果你事先不知道该用哪个命令，很难通过枚举的方式找到。因此，在这样没有统一入口的情况下，就需要你对最基本的命令有所掌握。一旦找到某个命令行，替代输入框的是各种各样的启动参数。这些参数怎么填，一

Linux

原创 2021-06-24 14:52:05 367 阅读

Linux 常用命令全拼

pwd: print work directory 打印当前目录显示出当前工作目录的绝对路径 ps: process status(进程状态，类似于windows的任务管理器) 常用参数：－auxf ps -auxf 显示进程状态 df: disk free 其功能是显示磁盘可用空间数目信息及空间结点信息。换句话说，就是报告在任何安装的设备或目录中，还剩多少自由的空间。 du: Disk

Linux

原创 2021-06-24 14:51:50 232 阅读

Linux 内核的文件 Cache 管理机制详解

1 前言介绍一下 Linux 内核中文件 Cache 管理的机制。本文以 2.6 系列内核为基准，主要讲述工作原理、数据结构和算法。 2 操作系统和文件 Cache 管理对于存储设备上的数据，操作系统向应用程序提供的逻辑概念就是"文件"。应用程序要存储或访问数据时，只需读或者写"文件"的一维地址空间即可，而这个地址空间与存储设备上存储块之间的对应关系则由操作系统维护。在 Linux 操作系

Linux

转载 2021-06-24 14:51:32 737 阅读

Linux根文件系统（rootfs原理详解）

1 文件系统文件系统是os用来明确存储设备（常见的是磁盘，也有基于NAND Flash的固态硬盘）或分区上的文件的方法和数据结构；即在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件机构称为文件管理系统，简称文件系统。文件系统由三部分组成：文件系统的接口，对对象操作和管理的软件集合，对象及属性。从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的

Linux

原创 2021-06-24 14:50:59 1559 阅读

Linux内核：memory barrier

一、前言我记得以前上学的时候大家经常说的一个词汇叫做所见即所得，有些编程工具是所见即所得的，给程序员带来极大的方便。对于一个c程序员，我们的编写的代码能所见即所得吗？我们看到的c程序的逻辑是否就是最后CPU运行的结果呢？很遗憾，不是，我们的“所见”和最后的执行结果隔着： 1、编译器 2、CPU取指执行编译器将符合人类思考的逻辑（c代码）翻译成了符合CPU运算规则的汇编指令，编译器了解底层CP

Linux

转载 2021-06-24 14:50:35 196 阅读

Linux stress命令详解

stress 命令主要用来模拟系统负载较高时的场景，本文介绍其基本用法。文中 demo 的演示环境为 ubuntu 18.04。 1 安装 stress Ubuntu 系统默认没有安装 stress，需要通过下面的命令安装： $ sudo apt install stress $ stress --version 2 语法 stress <options> 3 可选参数 -c,

Linux

原创 2021-06-24 14:50:13 1235 阅读

Linux内核实战(二)-操作系统概述

os就像一个软件外包，内核就相当于这家外包公司老板。接下来请假设你就是这个老板，方便理解os如何协调各种资源帮客户做事。后文中用户指os的用户客户指外包公司的客户 1 硬件概述 1.1 鼠标和键盘计算机的输入设备。用户想要告诉计算机应该做什么，都是通过这两个设备。一家外包公司如何知道客户需求？需配备销售、售前等角色，专门负责和客户对接，把客户需求拿回来，统称这些人为客户对接员。 1.

Linux

原创 2021-06-24 14:49:53 309 阅读

Linux系统中的Page cache和Buffer cache

Mem：表示物理内存统计。total：表示物理内存总量(total = used + free)。used：表示总计分配给缓存（包含buffers 与cache ）使用的数量，但其中可能部分缓存并未实际使用。free：未被分配的内存。shared：共享内存。buffers：系统分配但未被使用的buffers数量。cached：系统分配但未被使用的cache数量。-/+ buffers/cache

Linux

原创 2021-06-24 14:49:30 771 阅读

【建议收藏】Linux工作/面试常用命令集锦

管道符“|”将两个命令隔开，左边命令的输出作为右边命令的输入。连续使用管道意味着第一个命令的输出会作为第二个命令的输入，第二个命令的输出又会作为第三个命令的输入，依此类推 1 文件管理 1.1 which 用于查找文件会在环境变量$PATH设置的目录里查找符合条件的文件语法 which [文件...] 参数 -n<文件名长度> 　指定文件名长度，指定的长度必须大于或等于所有文件

Linux

原创 2021-06-24 14:49:15 488 阅读

【图解Linux内核】Page Cache

在资深开发的日常，经常能遇见和Page Cache相关场景：服务器的load飙高服务器的I/O吞吐飙高业务响应时延出现大的毛刺业务平均访问时延明显增加。这些问题，很可能是由于Page Cache管理不到位引起的，因为Page Cache管理不当除了会增加系统I/O吞吐外，还会引起业务性能抖动。这类问题出现后，开发人员往往束手无策，究其原因在于他们对Page Cache的理解仅仅停留在

Linux

原创 2021-06-24 14:48:56 645 阅读

Kafka的安装与入门基础

0 Java消息服务（Java Message Service，JMS） Java消息服务（Java Message Service，JMS）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。Java消息服务是一个与具体平台无关的API，绝大多数MOM提供商都对JMS提供支持。 Java消息服务的规范包括两种消息模

Kafka

原创 2021-06-24 14:48:19 321 阅读

Kafka实战(1)-为何大厂都选择Kafka作为消息队列

这MQ有啥用？ MQ是一组规范。利用这组规范可以在不同系统间传递语义准确的消息，实现松耦合的异步式数据传递。系统A发送消息给MQ，系统B从MQ中读取A发送的消息。既然MQ是用于在不同系统间传输消息，那如何设计待传输消息的格式？一条消息如何才能做到信息表达业务语义且无歧义，同时还能最大限度提供可重用性以及通用性？使用成熟解决方案？比如CSV、XML、JSON、Google的Prot

Kafka

原创 2021-06-24 14:48:03 424 阅读

欢迎

首页
1
2
3
4
5
6
7
8
共312条记录

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

编程严选网

基于Redis的bitmap位图实现用户签到功能

使用Redis实现用户积分及TopN排行榜功能

Redis实现附近的人

Redis缓存设计原理及实战

都2021了还不懂Redis的网络通信协议？

Redis管道Pipelining原理详解

大厂Redis性能优化指南

Redis竟然还有自定义网络通信协议？

Redis 事件循环函数serverCron

Redis热点key解决方案

Redis大Key解决方案

如何快速定位 Redis 热 key

掌握Redis的Sentinel哨兵原理,助你拿到25k的offer!

阿里华为等大厂的Redis分布式锁是如何设计的?

华为大佬整理全网最全Redis数据结构的大厂最佳实践

春招掌握这些Redis分区技巧,保你拿到阿里字节的offer!

碾压阿里面试官!RedisCluster集群全网最全知识点!

Linux环境下 RabbitMQ 的下载与安装

Linux再学习（一）-学习路线规划

Linux 常用命令全拼

Linux 内核的文件 Cache 管理机制详解

Linux根文件系统（rootfs原理详解）

Linux内核：memory barrier

Linux stress命令详解

Linux内核实战(二)-操作系统概述

Linux系统中的Page cache和Buffer cache

【建议收藏】Linux工作/面试常用命令集锦

【图解Linux内核】Page Cache

Kafka的安装与入门基础

Kafka实战(1)-为何大厂都选择Kafka作为消息队列

欢迎