binlog是MySQL Server层记录的日志， redo log是InnoDB存储引擎层的日志。 两者都是记录了某些操作的日志(不是所有)自然有些重复（但两者记录的格式不同）。 2. 选择binlog日志作为replication我想主要原因是MySQL的特点就是支持多存储引擎，为了兼容绝大部分引擎来支持复制这个特性，那么自然要采用MySQL Server自己记录的日志而不是仅仅针
热点数据更新对于有限的数据库资源，如果有大量请求去消费的话，肯定会产生大量的锁竞争（数据库对一条数据的更新会导致在索引上给这条记录加行锁，如果没有索引，会导致锁表），消耗服务器资源，而且请求的成功率也不高（换句话说就是你在浪费服务器资源，性价比不高）。例如：在大促某件商品时，库存只有 1000，用户请求数 100 w，如果都让这个 10 w 用户请求去访问数据库，会带来大量的锁竞争，最终抢到商品的
转载
2024-04-10 21:49:42
78阅读
目录背景物理日志和逻辑日志日志模块：redo log
redo log产生背景redo log基本概念redo log记录形式redo log使用场景日志模块：bin log
bin log基本概念bin log刷盘机制bin log使用场景日志模块：undo log
undo log基本概念undo log使用场景binlog/redo log/undo log区别闲聊背景日志
对于大部分的应用来说，都存在热点数据的访问，即：某些数据在一定时间内的访问频率要远远高于其它数据。 常见的热点数据有“最新的新闻”、“最热门的新闻”、“下载量最大”的电影等。 为了了解MySQL Innodb对热点数据的支持情况，我进行了基准测试，测试环境如下：【硬件配置】硬件配置CPUIntel(R)Xeon(R)CPUE5620主频2.40GHz，物理CPU2个，逻辑CPU16个内存24G（6
转载
2024-08-26 00:02:32
39阅读
springboot篇章整体栏目： 【一】springboot整合swagger（超详细【二】springboot整合swagger（自定义）（超详细）【三】springboot整合token（超详细）【四】springboot整合mybatis-plus（超详细）（上）【五】springboot整合mybatis-plus（超详细）（下）【六】springboot整合自定义
转载
2023-08-25 02:07:45
80阅读
热点数据的存放场景： 数据库中有2000w数据，而redis中只有100w数据，如何保证redis中存放的都是热点数据？方案： 限定redis占用的内存，redis会根据自身数据淘汰策略，留下热数据到内存。所以可以计算100w数据大约占用的内存，然后设置一下redis内存限制即可，并将淘汰策略设置为allkeys-lru或者volatile-lru.设置redis最大占用内存： 打开red
转载
2023-08-30 13:12:29
48阅读
大家好，我是Tom哥。Redis 作为一门主流技术，应用场景非常多，很多大中小厂面试都列为重点考察内容前几天有星球小伙伴学习时，遇到下面几个问题，来咨询 Tom哥考虑到这些问题比较高频，工作中经常会遇到，这里写篇文章系统讲解下问题描述：向你提问：tom哥，在复习redis时，有些疑问，麻烦看看： 1.如果redis集群出现数据倾斜，数据分配不均，该如何解决？2.处理hotKey时，为ke
转载
2023-08-09 21:35:16
595阅读
Redis 简介Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。从2013年5月开始，Redis的开发由Pivotal赞助。------ 来自百度百科。Redis 常见的应
转载
2023-08-09 21:33:40
157阅读
1. 大型电商系统高流量系统设计 场景： 大量电商系统每天要处理上亿请求，其中大量请求来自商品访问、下单。商品的详情是时刻变化，由于请求量过大，不会频繁去服务端获取商品信息，导致服务器压力极大。需要用到多级缓存、异步处理、负载均衡等方式来实现 解决： 评估哪些页面是活跃的，即用户查看使用较多的页面。页面里面包括静态资源和数据、动态数据等，划分层次，把静态资源存放到
转载
2023-08-12 22:23:14
19阅读
最近系统多次因对数据库锁使用不当引起问题，故从基础学习一下mysql锁机制。基本概念：共享锁共享锁的代号是S，是Share的缩写，共享多的锁粒度是行或者元组（多个行），一个事务获取了共享多之后，可以对锁定范围内的数据执行读操作。排它锁排它锁的代号是X，是eXclusive的缩写，排他锁的粒度是行或元组，与共享锁相同，一个事务获取了排它锁之后，可以对锁定范围内的数据执行写操作。例：假设有两个事务t1
原创 编程悟道 编程悟道 2024-01-20 10:33 发表于江苏 MySQL性能调优实战：热点数据优化性能调优，就像是给你的爱车做维护，让它跑得更快更稳。而优化热点数据，就像是在赛车比赛中，为最频繁使用的加速踏板涂上最好的润滑油，保证每次踩下去都能有最快的响应速度。在这个笑料百出的世界里，性能调优是开发者的终极追求，热点数据优化就是其中的排头
转载
2024-06-19 21:06:45
101阅读
数据高可用之所以是老生常谈的话题，是因它对企业数据安全起到了至关重要的保障作用，数据高可用核心功能在于如何保证在发生故障时数据不丢失。本文作者热璞数据库HotDB首席架构师，精通数据库原理和MySQL开源数据库，将以使用者视角，抽丝剥茧式的手把手教你如何基于MySQL进行数据高可用。强烈建议大家收藏此篇文章！以下：如何基于MySQL进行数据高可用这次探讨的话题是数据高可用，首先，我们需要理清楚数据
转载
2024-01-27 22:44:55
79阅读
热点数据发现1.发现静态热点数据：静态热点数据的发现相对简单些，是可以提前预估预测的数据。比如：秒杀活动商品、降价促销商品、节假日的火车票机票、热门电影门票、明星发布新专辑，以及大数据分析流行趋势预测热点。2.发现动态热点数据：创建异步监控统计服务和热点数据服务。异步监控统计服务在一个周期内对Key进行请求统计，在达到请求量级后将热点Key发送到热点数据服务收集，然后热点数据服务对这些热点Key进
转载
2023-10-03 16:02:25
61阅读
一、简介SuperMap iClient for JavaScript提供了热点图（HeatMapLayer），用于渲染数据衰减趋势、颜色渐变的效果。原理：在客户端直接渲染的栅格图，热点图的渲染需要三大要素：1、热点数据，热点数据需要点数据，每一个热点数据需要有地理位置以及权重值 （能够明显的表现某位置某事件发生频率或事物分布密度等，如可以为温度的高低、人口密集度等等）；2、热点衰减渐变填充色集合
在做项目时 使用redis 对热点数据做缓存 虽然有提供的注解 但是这里我们自己实现以下 并解决其中的缓存击穿 穿透 雪崩问题 以提高接口的RT 减少数据库的压力 使用aop 加注解加缓存。首先自定义一个注解 然后使用aop 首先我们使用around 注解 对我们自定义的注解进行环绕通知 因为我们使用的环绕通知可以 使用ProcessdingJoinP
转载
2023-08-10 16:53:03
94阅读
故障描述：某张业务数据表中使用了blob类型字段，该字段会被频繁的更新，导致MySQL产生大量的bin log，最终将服务器硬盘写满，导致该机器上其它的业务受到影响详细原因：导致这个问题的业务是一个基数统计程序，基于storm开发。算法上采用了HyperLogLog，为了能够统计每小时的活跃用户数量，每小时对应一条HyperLogLog结构。每当数据到达后会更新对应时间段的HLL结构(为了使用Mi
转载
2023-12-15 05:43:32
61阅读
EXPLAIN 语句中type列的值type连接类型system 表只有一行
const 表最多只有一行匹配，通用用于主键或者唯一索引比较时
eq_ref 每次与之前的表合并行都只在该表读取一行，这是除了system，const之外最好的一种，
特点是使用=，而且索引的所有部分都参与join且索引是主键或非空唯一键的索引
ref 如果每次只匹配少数行，那就是比较好的一种，使用=或<=>
本文作者：梁盼 一、热点问题产生原因热点问题产生的原因大致有以下两种：1.1 用户消费的数据远大于生产的数据（热卖商品、热点新闻、热点评论、明星直播）。在日常工作生活中一些突发的的事件，例如：双十一期间某些热门商品的降价促销，当这其中的某一件商品被数万次点击浏览或者购买时，会形成一个较大的需求量，这种情况下就会造成热点问题。同理，被大量刊发、浏览的热点新闻、热点评
转载
2024-04-08 11:34:06
221阅读
步骤：
利用手机让电脑上网，不再让手机流量浪费掉！ 工具/原料
一部手机（android系统）
一台电脑（有无线网卡）
步骤/方法
手机上的设置：
一 点击设置(如图所示）
二 点击无线和网络（如图所示）：
三
转载
2023-06-15 06:12:44
253阅读
①何为缓存击穿？原因：就是高并发情况下，对单一热点数据的访问；但是redis中没有，数据库中有；后端代码需要频繁的将热数据写入redis的同时还要返回给请求端。很关键点是高并发、热点数据、数据失效。后果：可能数据库宕机；服务不可用。解决方案：1.过期时间+随机数2.预热 热点数据加入redis缓存3.使用锁机制，保证每次都只有一个进程可以获得锁进行写入②何为缓存穿透？原因：请求一个既不在数据库也不
转载
2024-04-10 14:44:27
36阅读
