公众号JavaEdge的博客_Java,Mysql,消息队列,Redis,系统设计(7)

#yyds干货盘点# SQL里进行分组的时候，如何才能使用索引？

group by是否能用索引呢？有时做个group by把数据分组，接着用count、sum之类的聚合函数做聚合统计。假设执行类似select count(*) from table group by xx看起来必须把你所有的数据放到一个临时磁盘文件里还有加上部分内存，去搞一个分组，按照指定字段的值分成一组一组的，接着对每一组都执行一个聚合函数，这个性能也是极差的，因为毕竟涉及大量的磁盘交互。因为

字段

数据

聚合函数

原创精选 2022-03-10 23:57:42 635 阅读

# yyds干货盘点 # 消息队列解析(2)-MQ选型

1 选型标准1.1 开源（白嫖）方便修改源码，而非阻塞等待软件提供商猴年马月发布下个版本解决。1.2 生态（大家一起玩）方便找到很多问题的解决方案，和主流框架也无缝对接。1.3 确保消息可靠传递1.4 Cluster高可用性。1.5 性能具备足够好的性能，能满足绝大多数场景的性能要求。于是市面上主要就如下可供选择：2 RabbitMQ2.1 优点Erlang编写，最早为电信行业系统可靠通信设计，是

消息队列

kafka

应用场景

原创精选 2022-03-09 23:57:31 927 阅读

#yyds干货盘点# 要修改值和原值相等，MySQL还会再执行update吗？

创建一个简单的表user，并插入一行，然后对这一行做修改。CREATE TABLE `users`( `id` int(11) NOT NULL primary key auto_increment, `type` int(11) DEFAULT NULL) ENGINE = InnoDB;insert into usersvalues (1, 2);这时候，表t里有唯一的一行

mysql

加锁

数据

原创精选 2022-03-08 23:50:52 1614 阅读

#yyds干货盘点# synchronize底层实现原理(3)-重量级锁

1 字节码层实现javap 生成的字节码中包含如下指令：monitorentermonitorexitsynchronized基于此实现了简单直接的锁的获取和释放。当JVM的解释器执行monitorenter时，会进入InterpreterRuntime.cpp1.1 InterpreterRuntime::monitorenterJRT_ENTRY_NO_ASYNC(void, Inte

用户态

内核态

字段

原创推荐 2022-03-07 23:51:17 2245 阅读 1点赞

#yyds干货盘点# 消息队列的事务消息

1 MQ事务的意义“发消息”过程，往往是为通知另外一个系统更新数据，MQ的“事务”，主要解决Pro和Con的消息数据一致性问题。用户在电商APP上购物时先把商品加到购物车然后几件商品一起下单最后支付完成购物流程，就可以愉快地等待收货该过程中有个需用MQ。订单系统创建订单后，发消息给购物车模块，将已下单商品从购物车删除。从购物车删除已下单商品步骤，并非用户下单支付这个主要流程的必需步骤，所以

数据

数据库

分布式事务

原创精选 2022-03-05 23:44:32 1537 阅读 1点赞 yyds干货盘点

#yyds干货盘点# synchronize偏向锁底层实现原理

synchronize偏向锁底层实现原理1 偏向锁的意义无多线程竞争时，减少不必要的轻量级锁执行路径。大多数情况下，锁不仅不存在多线程竞争，而且总是由同一条线程去多次获得锁，为了让线程获得锁的性能代价更低而引入了偏向锁。偏向锁主要用来优化同一线程多次申请同一个锁的竞争，即当对象被当做同步锁并有一个线程抢到了锁时，则在Mark Word设置该线程的线程ID、是否偏向锁设置1、锁标志位设置01等信息，

sed

java

多线程

原创精选 2022-03-04 23:45:19 734 阅读 yyds干货盘点

#yyds干货盘点# JVM 轻量级锁实现原理

1 轻量级锁的意义偏向锁适用于没有多线程竞争的情况，轻量级锁和重量级锁均用于多线程场景：重量级锁依赖操作系统语义，在无法获取锁时，线程直接进入阻塞状态轻量级锁会自旋一段时间，尝试获取锁，超时后再转为重量级锁。在多线程交替执行同步块的情况下，尽量避免重量级锁引起的性能消耗。但若多个线程在同一时刻进入临界区，会导致轻量级锁膨胀升级为重量级锁，所以轻量级锁的引入并非是为完全替代重量级锁。2 轻量级锁的

加锁

java

无锁

原创精选 2022-03-03 23:39:29 891 阅读 1点赞 1收藏 yyds干货盘点

#yyds干货盘点# HotSpot对象的创建过程

HotSpot对象的创建过程1 对象的创建过程当JVM遇到一条含有new的指令时，会进行一系列对象创建的操作：1.1 检查常量池中，是否有待创建对象所属类的符号引用若常量池中无此类的符号引用，说明该类还没有被定义！直接抛ClassNotFoundException若常量池中有此类的符号引用，则走21.2 检查该符号引用所代表的类，是否已被JVM加载若该类尚未被加载就找该类的class文件，

句柄

数据

加载

原创精选 2022-03-03 02:56:05 1169 阅读 yyds干货盘点

#yyds干货盘点# MySQL的普通索引和唯一索引到底什么区别？

1 概念区分普通索引 V.S 唯一索引普通索引可重复，唯一索引和主键一样不能重复。唯一索引可作为数据的一个合法验证手段，例如学生表的身份证号码字段，人为规定该字段不得重复，那么就使用唯一索引。（一般设置学号字段为主键）主键 V.S 唯一索引主键保证DB的每一行都是唯一、不重复，比如身份证，学号等，不重复。唯一索引的作用跟主键一样。但在一张表里面只能有一个主键，不能为空，唯一索引可有多个。唯一索引可

数据

主键

字段

原创推荐 2022-03-01 23:58:50 1491 阅读 yyds干货盘点

#yyds干货盘点# 删除千万级数据量导致的慢查询优化

有人删了千万级的数据，结果导致频繁的慢查询。线上收到大量慢查询告警，于是检查慢查询的SQL，发现不是啥复杂SQL，这些SQL主要针对一个表，基本都是单行查询，看起来应该不会有慢查询。这种SQL基本上都是直接根据索引查找出来的，性能应该极高。是否可能慢查询不是SQL问题，而是MySQL生产服务器的问题？特殊情况下，MySQL出现慢查询还真不是SQL问题，而是他自己生产服务器的负载太高，导致SQL语句

数据

sql

慢查询

原创精选 2022-02-27 22:54:33 850 阅读 yyds干货盘点

#yyds干货盘点# MySQL高可用原理

在一个主备关系中，每个备库接收主库的binlog并执行。正常情况下，只要主库执行更新生成的所有binlog，都可以传到备库并被正确执行，备库就能达到跟主库一致的状态，这就是最终一致性。但MySQL要提供高可用能力，只有最终一致性还不够。为什么呢？MySQL主备切换流程--双M结构主备延迟主备切换可能是：主动运维动作比如软件升级、主库所在机器按计划下线等被动操作比如主库所在机器掉电。同步

数据

mysql

系统时间

原创精选 2022-02-26 23:51:39 811 阅读 yyds干货盘点

#yyds干货盘点# MySQL会丢数据吗？

MySQL会丢数据吗？在业务高峰期临时提升性能的方法。WAL机制保证只要redo log和binlog保证持久化到磁盘，就能确保MySQL异常重启后，数据可以恢复。binlog的写入机制事务执行过程中：先把日志写到binlog cache事务提交时，再把binlog cache写到binlog文件一个事务的binlog不该被拆开，不论事务多大，也要确保一次性写入。这就涉及binlog cache的

持久化

mysql

数据

原创精选 2022-02-23 23:37:55 1491 阅读 yyds干货盘点

#yyds干货盘点# 各种 SQL 的执行计划实战分析

每条SQL语句，MySQL都会经过成本和规则的优化，对这个SQL选择对应的一些访问方法和顺序，包括做一些特殊的改写确保执行效率是最优的，然后优化过后，就会得到一个执行计划。执行计划，落实到底层，无非就是先访问哪个表，用哪个索引还是全表扫描，拿到数据后如何回表，是否要基于临时磁盘文件做分组聚合或者排序。简单的单表查询，可能这就一条数据，代表它打算如何访问这一个表。explain select *

数据

执行计划

子查询

原创精选 2022-02-22 23:12:59 10000+阅读 yyds干货盘点

#yyds干货盘点# MySQL回表的性能伤害有多大？

1 回表的性能消耗无论单列索引 or 联合索引，一个索引就对应一个独立的B+索引树，索引树节点仅包含：索引里的字段值主键值即使根据索引树按条件找到所需数据，也仅是索引里的几个字段的值和主键值，万一你搞个select *，那就还得其他字段，就需回表，根据主键到聚簇索引里找，聚簇索引的叶节点是数据页，找到数据页才能把一行数据所有字段值读出来。所以类似select * from table order

联合索引

数据

字段

原创精选 2022-02-20 23:44:51 899 阅读 yyds干货盘点

#yyds干货盘点# 联合索引查询原理及生效规则

一般都是设计联合索引，很少用单个字段做索引，因为还是要尽可能让索引数量少，避免磁盘占用太多，影响增删改性能。有个表存储学生成绩，id是自增主键，包含学生班级、学生姓名、科目名称、成绩分数四个字段，平时查询，可能比较多的就是查找某个班的某个学生的某个科目的成绩。所以，我们可以针对【学生班级，学生姓名，科目名称】建立一个联合索引。有两个数据页：第一个数据页里有三条数据，每条数据都包含联合索引的三个字段

数据

字段

联合索引

原创精选 2022-02-19 22:08:51 556 阅读 yyds干货盘点

#yyds干货盘点# RAID电池充放电导致的MySQL性能抖动优化

DB部署在高配置服务器，磁盘用的RAID 10阵列技术，用了6块磁盘组成RAID 10磁盘阵列架构。RAID 10：有很多磁盘组成一个阵列，所有数据分散写入不同磁盘，因为有多块磁盘，所以你的磁盘阵列整体容量就很大，而且同时写入多块磁盘，让你的磁盘读写并发能力很强：但这种模式下，最大问题就是若你磁盘坏了一块，就会丢失一部分数据。所以一般若要严格保证磁盘数据不丢失，就得用RAID 1：两块

数据

数据库

数据冗余

原创精选 2022-02-17 23:36:43 983 阅读 yyds干货盘点

#yyds干货盘点# MySQL RR事务隔离级别的实现原理

RR级别的实现如何同时避免不可重复读问题和幻读问题的呢？MySQL让多个事务并发运行的时候能互相隔离，避免同时读写一条数据的时候有影响，是借助undo log版本链条和ReadView机制。RR级别下，你这事务读一条数据，无论读多少次，都是一个值：别的事务修改数据了后即使提交了，你也看不到人家修改的值，这就解决了不可重复读其它事务插入一些新数据，你也读不到，这就避免幻读假设有一条数据是事务id=5

数据

不可重复读

mysql

原创精选 2022-02-16 22:58:38 1025 阅读 yyds干货盘点

#yyds干货盘点# MySQL RC事务隔离级别的实现

Read Committed，事务运行期间，只要别的事务修改数据并提交，即可读到人家修改的数据，所以会有不可重复读、幻读问题。ReadView机制基于undo log版本链条实现的一套读视图机制，事务生成一个ReadView：若为事务自己更新的数据，自己可以读到或在你生成ReadView之前提交的事务所修改的值，也可读到但若你生成ReadView时，就已经活跃的事务，但如果它在你生成ReadVie

数据

数据库

不可重复读

原创精选 2022-02-15 23:23:55 1792 阅读 yyds干货盘点

#yyds干货盘点# 磁盘上怎么存储NULL值？

1 为何不能直接存个NULL？NULL值列表，一行数据里可能有的字段值是NULL，比如nickname字段，允许为NULL，存储时，如果没赋值，这字段值就是NULL。假设这个字段的NULL值在磁盘存储时，就是按“NULL”字符串存储的，是不是很浪费存储空间而且还奇怪？2 到底怎么存储？不通过字符串，而是通过二进制bit位存储，一行数据里假设有多个字段的值都是NULL，那么这多个字段的NULL，就会

字段

数据

逆序

原创精选 2022-02-14 22:53:19 684 阅读 yyds干货盘点

#yyds干货盘点# 如何处理消费过程中的重复消息？

消息传递过程中若失败，则发送方会执行重试，重试就可能产生重复消息。若不处理重复消息，可能收获惊喜。比如一个消费订单消息，统计下单金额的微服务。若不正确处理重复消息，就会出现重复统计。那仅靠MQ能保证消息不重复吗？消息重复必然存在，在MQTT协议，给出三种传递消息时能够提供的1 服务质量标准服务质量从低到高：At most once至多一次。消息在传递时，最多被送达一次。即没什么消息可靠性保证，允许

幂等

数据

更新数据

原创精选 2022-02-13 23:59:13 959 阅读 yyds干货盘点

#yyds干货盘点# Spring AOP详解

1 AOP 应用场景AOP，Aspect Oriented Programming，面向切面编程。通过预编译和运行期动态代理，实现在不修改源代码情况下，给程序动态地统一添加功能。AOP设计追求调用者和被调用者之间的解耦，一些非业务，如：日志、事务、安全等都会写在业务代码中(也即是说，这些非业务类横切于业务类)，但这些代码往往是重复，复制粘贴式的代码，会给程序维护带来不便，AOP 就实现了把这些业务

sed

spring

初始化

原创推荐 2022-02-11 21:27:07 1746 阅读 yyds干货盘点

#yyds干货盘点# Spring的Aware接口详解

Aware接口若 Spring 检测到 bean 实现了 Aware 接口，则会为其注入相应的依赖。所以通过让bean 实现 Aware 接口，则能在 bean 中获得相应的 Spring 容器资源。Spring 中提供的 Aware 接口有：BeanNameAware：注入当前 bean 对应 beanNameBeanClassLoaderAware：注入加载当前 bean 的 ClassLoa

spring

应用程序

ide

原创精选 2022-02-10 22:29:33 875 阅读 yyds干货盘点

#yyds干货盘点# 如何设计秒杀系统

1 秒杀的问题服务单一、独立部署秒杀服务即使自己扛不住高并发而宕机，也不要造成服务雪崩。秒杀链接加密避免恶意攻击，机器人模拟秒杀请求避免链接暴露，自己工作人员，提前秒杀商品库存预热、快速扣减秒杀读多写少。无需每次实时校验库存。库存预热，放到Redis，信号量控制进来秒杀的请求。动静分离Nginx做好动静分离。静态资源 Nginx 直接返回，保证秒杀和商品详情页的动态请求才打到后端服务集群。使用C

消息队列

数据

数据库

原创精选 2022-02-09 20:44:02 958 阅读 yyds干货盘点

#yyds干货盘点# 交换排序—冒泡排序（Bubble Sort）

交换排序—冒泡排序（Bubble Sort）1 思想待排序的一组数中，对当前还未排序的范围内的全部数，自上而下对相邻两数依次进行：比较调整让较大数往下沉，较小往上冒，故名冒泡排序。即每当两相邻的数比较后，发现它们的排序与排序要求相反时，就互换。 2 实现package com.sss;import java.util.Arrays;/** * @author JavaEdge */public

i++

数据交换

冒泡排序

原创精选 2022-02-08 21:23:52 1299 阅读 yyds干货盘点

#yyds干货盘点# MySQL日志顺序读写及数据文件随机读写原理

MySQL日志顺序读写及数据文件随机读写原理MySQL在实际工作时候的两种数据读写机制：对redo log、binlog这种日志进行的磁盘顺序读写对表空间的磁盘文件里的数据页进行的磁盘随机读写1 磁盘随机读MySQL执行增删改操作时，先从表空间的磁盘文件里读数据页出来，这就是磁盘随机读。如下图有个磁盘文件，里面有很多数据页，可能需要在一个随机位置读取一个数据页到缓存，这就是磁盘随机读因你要读取

数据

数据库

sql语句

原创精选 2022-02-07 21:23:21 1024 阅读 yyds干货盘点

八大排序算法Java实现（下）-快排、归排、基数排序

6. 交换排序—快速排序（Quick Sort）基本思想：1）选择一个基准元素,通常选择第一个元素或者最后一个元素,2）通过一趟排序讲待排序的记录分割成独立的两部分，其中一部分记录的元素值均比基准元素值小。另一部分记录的元素值比基准值大。3）此时基准元素在其排好序后的正确位置4）然后分别对这两部分记录用同样的方法继续进行排序，直到整个序列有序。快速排序的示例：（a）一趟排序的过程：（b）排序的全过程算法的实现：递归实现：void print(int a[], int n){

算法

i++

时间复杂度

基数排序

java

原创推荐 2022-01-18 13:51:13 4145 阅读 2点赞 1收藏

#yyds干货盘点# 如何处理消息丢失问题？

即如何保证消息的可靠性传输？用MQ，数据：不能多，重复消费和幂等性问题不能少，这数据别搞丢若这是用MQ传递非常核心的消息，比如计费系统是很重的一个业务，操作很耗时，经常将计费做成异步化，然后中间就是加个MQ。为确保MQ传递过程中绝不会把计费消息弄丢。广告主投放个广告，说好用户点击一次扣费1块钱。结果要是用户动不动点击了一次，扣费时搞的消息丢了，公司就会不断的少几块。如何解决MQ丢数据，一般

数据

持久化

kafka

原创推荐 2022-01-17 23:02:35 963 阅读 yyds干货盘点

#yyds干货盘点# 彻底理解对象内存分配及Minor GC和Full GC全过程

线上的老年代频繁Full GC的案例，理解：整个对象分配以及转移到老年代Minor GC和Full GC过程案例某数据计算系统，日处理数据量在上亿的规模。系统会不断从MySQL及其他数据源提取大量数据，加载到自己的JVM内存进行计算处理：这数据计算系统不停通过SQL语句和其他方式从各种数据存储中提取数据到内存中来进行计算，大致当时的生产负载是每分钟大概需要执行500次数据提取和计算的任务。但这

老年代

数据

垃圾回收器

原创精选 2022-01-16 22:08:09 1226 阅读 yyds干货盘点

#yyds干货盘点# 消息积压&消息丢失解决方案

问题本质都在于你的消费端可能出了问题，不消费或消费的太慢！更可怕的是由于积压时间太长，导致如果起初还设置了TTL后失效了怎么办？消息积压其实数据积压的问题是架构设计不合理。丢失的数据是通过日志找回来,如果日志也找不到了那就没招了一般这时，只能操作临时紧急扩容了，具体操作步骤和思路如下：先修复consumer，确保恢复消费速度，然后将现有cnosumer都停掉新建一个topic，partition

数据

架构设计

原创精选 2022-01-15 23:35:45 453 阅读 yyds干货盘点

#yyds干货盘点# Spring的@Autowired依赖注入原来这么多坑！

1 做不到雨露均沾经常会遇到，required a single bean, but 2 were found。根据ID移除学生DataService是个接口，其实现依赖Oracle：现在期望把部分非核心业务从Oracle迁移到Cassandra，自然会先添加上一个新的DataService实现：@Repository@Slf4jpublic class CassandraDataService

首字母

显式

oracle

原创推荐 2022-01-14 22:48:20 1137 阅读 yyds干货盘点

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

编程严选网

#yyds干货盘点# SQL里进行分组的时候，如何才能使用索引？

# yyds干货盘点 # 消息队列解析(2)-MQ选型

#yyds干货盘点# 要修改值和原值相等，MySQL还会再执行update吗？

#yyds干货盘点# synchronize底层实现原理(3)-重量级锁

#yyds干货盘点# 消息队列的事务消息

#yyds干货盘点# synchronize偏向锁底层实现原理

#yyds干货盘点# JVM 轻量级锁实现原理

#yyds干货盘点# HotSpot对象的创建过程

#yyds干货盘点# MySQL的普通索引和唯一索引到底什么区别？

#yyds干货盘点# 删除千万级数据量导致的慢查询优化

#yyds干货盘点# MySQL高可用原理

#yyds干货盘点# MySQL会丢数据吗？

#yyds干货盘点# 各种 SQL 的执行计划实战分析

#yyds干货盘点# MySQL回表的性能伤害有多大？

#yyds干货盘点# 联合索引查询原理及生效规则

#yyds干货盘点# RAID电池充放电导致的MySQL性能抖动优化

#yyds干货盘点# MySQL RR事务隔离级别的实现原理

#yyds干货盘点# MySQL RC事务隔离级别的实现

#yyds干货盘点# 磁盘上怎么存储NULL值？

#yyds干货盘点# 如何处理消费过程中的重复消息？

#yyds干货盘点# Spring AOP详解

#yyds干货盘点# Spring的Aware接口详解

#yyds干货盘点# 如何设计秒杀系统

#yyds干货盘点# 交换排序—冒泡排序（Bubble Sort）

#yyds干货盘点# MySQL日志顺序读写及数据文件随机读写原理

八大排序算法Java实现（下）-快排、归排、基数排序

#yyds干货盘点# 如何处理消息丢失问题？

#yyds干货盘点# 彻底理解对象内存分配及Minor GC和Full GC全过程

#yyds干货盘点# 消息积压&消息丢失解决方案

#yyds干货盘点# Spring的@Autowired依赖注入原来这么多坑！

欢迎