上月前面试某公司，对于mysql分表的思路，当时简要的说了下hash算法分表，以及后台设计分表的思路， 但是对于新增数据自增id存放的设计思想回答的不是很好(笔试+面试整个过程算是OK过了，因与个人预期的薪酬不太理想而忍痛放弃.)，在此再深究下mysql 分表优化之类的设计思路方案.先来闲扯下发文目的：为什么要分表和分区？日常开发中我们经常会遇到大表的情况，所谓的大表是指存储了百万级乃至千万级条记
# MySQL何时需要分库分表
在开发过程中，我们常常会遇到数据量不断增长的情况，这让性能成为一个重要的问题。MySQL数据库在应对数据量的增加时，有时需要进行分库分表，以保证系统的高效运行。本文将为您详细讲解检测分库分表的流程，并提供相应的代码示例和说明。
## 整体流程
在决定是否需要进行分库分表时，可以遵循以下几个步骤：
| 步骤 | 过程
原创
2024-08-28 08:30:48
84阅读
1.引入微服务架构想必大家都是有所耳闻 简单来说，微服务架构就是把传统的一个单体应用以一套"小服务"的方式进行开发，这些"小服务"可以运行在不同机器上，它们在自己的进程中运行，"小服务"之间可以通过像是 HTTP API 这样的轻量级的机制进行通信,这些"小服务"紧紧围绕项目的业务需求开发，同时，它们是以业务边界进行划分成独立的微服务。这些微服务看似独立又像是一个整体，构成了一个业务集群。2.为何
转载
2023-09-30 10:11:46
40阅读
在介绍分库分表中数据同步的问题与解决方案之前，首先介绍下分库分表的相关内容。分库分表的原因(以MySQL为例)1、随着数据量增大，数据查询速度会逐渐下降，分库分表(当然不是唯一方案)就可以减小数据库的负担，缩短查询时间。2、MySQL具有行锁和表锁的机制，目的是为了保证数据的一致性，以表锁举例，若要对其进行操作需要等到表锁释放后才可以。分库分表的方案1、MySQL的主从复制，实现了数据库的读写分离
转载
2023-09-02 00:01:05
26阅读
朋也的博客 » 首页 » 文章分库分表原理介绍作者：朋也日期：2020-06-03版权声明：自由转载-非商用-非衍生-保持署名(创意共享3.0许可证)拆分规则：垂直拆分，水平拆分举例：表user字段：id, username, password, email, address, gender, bio垂直拆分后表user字段：id, username, password表user_info字段:
转载
2023-06-29 09:57:59
74阅读
什么时候进行分库分表 ？
转载
2021-08-15 17:24:49
135阅读
1 基本思想之什么是分库分表？从字面上简单理解，就是把原本存储于一个库的数据分块存储到多个库上，把原本存储于一个表的数据分块存储到多个表上。2 基本思想之为什么要分库分表？数据库中的数据量不一定是可控的，在未进行分库分表的情况下，随着时间和业务的发展，库中的表会越来越多，表中的数据量也会越来越大，相应地，数据操作，增删改查的开销也会越来越大；另外，由于无法进行分布式式部署，而一台服务器的资源(CP
转载
2023-10-13 20:28:03
62阅读
# MySQL查询：什么时候到什么时候
在进行数据库查询时，经常会遇到需要查询某一时间段内的数据的情况。MySQL提供了多种方式来实现这一操作，包括使用`BETWEEN`、`>=`和`=和=`和`= '2022-01-01' AND date_column = '2022-01-01' AND B[选择查询方式]
B --> C[BETWEEN操作符]
B --> D[>=和
原创
2024-05-19 06:21:31
82阅读
索引为什么能提高数据访问性能? 很多人只知道索引能够提高数据库的性能，但并不是特别了解其原理，其实我们可以用一个生活中的示例来理解。 我们让一位不太懂计算机的朋友去图书馆确认一本叫做《MySQL性能调优与架构设计》的书是否在藏，这样对他说：“请帮我借一本计算机类的数据库书籍，是属于 MySQL 数据库范畴的，叫做《MySQL性能调优与架构设计》”。朋友会根据所属类别，前往存放“计算机”书籍区域
转载
2023-08-28 18:41:07
78阅读
子查询一般用于跨表查询，习惯上，外层的查询称为父查询，圆括号中嵌入的查询称为子查询。SQL语句执行时先执行子查询部分，求出子查询部分的值，再执行整个父查询，返回最后的结果。
转载
2023-06-19 15:26:55
321阅读
前言 最近遇到一次MySQL死锁的问题，也算是少见的一件事情。公司的MySQL隔离级别是Read Commited，已经没有了gap lock，而且代码里的sql都再简单不过，没有显式加锁的sql语句。因此抽出时间看了一下原因。 分析具体问题之前，先整体的了解一下MySQL的加锁逻辑，之后再分析起来就游刃有余了：MySQL的锁 为什么MySQL要加锁呢？OLTP数据库离不开事务，事务也离不
转载
2023-10-18 23:35:36
156阅读
一，什么情况下使用索引1. 表的主关键字自动建立唯一索引2. 表的字段唯一约束ORACLE利用索引来保证数据的完整性3. 直接条件查询的字段在SQL中用于条件约束的字段如zl_yhjbqk（用户基本情况）中的qc_bh（区册编号）select * from zl_yhjbqk where qc_bh=’7001’;4. 查询中与其它表关联的字段字段常常建立了外键关系如zl_ydcf（用电成份）中的
转载
2023-08-10 15:08:25
81阅读
按照五点把书中的内容进行一下整理：1、为什么要选择Redis：介绍Redis的使用场景与使用Redis的原因；2、Redis常用命令总结：包括时间复杂度总结与具体数据类型在Redis内部使用的数据结构；3、Redis的高级功能：包括持久化、复制、哨兵、集群介绍；4、理解Redis：理解内存、阻塞，这部分是非常重要的，前面介绍的都可以成为术，这里应该属于道的部分；5、开发技巧：主要是一些开发实战的总
转载
2023-08-08 21:24:01
309阅读
1、较频繁地作为查询条件的字段这个都知道。什么是教频繁呢？分析你执行的所有SQL语句。最好将他们一个个都列出来。然后分析，发现其中有些字段在大部分的SQL语句查询时候都会用到，那么就果断为他建立索引。2、唯一性太差的字段不适合建立索引什么是唯一性太差的字段。如状态字段、类型字段。那些只存储固定几个值的字段，例如用户登录状态、消息的status等。这个涉及到了索引扫描的特性。例如：通过索引查找键值为
转载
2023-10-09 20:41:26
115阅读
写在前面网上看帖子的时候，经常会看到说尽量用exists，少用in。那么问题来了，是所有场景下都尽量用exists吗，还是具体场景具体分析。给你答案mysql做子查询的时候，永远记得要小表驱动大表。inselect * from A where id in (select id from B);相当于先循环B，再循环A。B表驱动A表。也就是当B表数据少于A表时，用in最佳。existsselect * from A whereexists(select 1 ...
原创
2021-12-29 16:09:09
324阅读
in后面跟的是小表，exists后面跟的是大表。
简记：in小，exists大。
对于exists
select .....from table where exists(subquery);
可以理解为：将主查询的数据放入子查询中做条件验证，根据验证结果（true或false）来决定主查询的数据是否得以保留。
转载
2024-04-03 15:45:00
0阅读
为什么选择 MySQL 或 Elasticsearch（ES）来处理数据存储和检索是每个开发者常常面临的问题。在选择之间进行决策时，我会考虑以下几个方面，以确保做出最合理的选择。本文将探讨如何在选择 MySQL 和 ES 时，系统性地分析问题并制定解决方案。
## 环境预检
在决定使用 MySQL 还是 ES 之前，首先需要对环境进行预检。以下是采用 **四象限图** 以及 **兼容性分析**
路漫漫其修远兮，吾将上线而求索。《深入浅出MySql》学习笔记-选择合适的数据类型一、CHAR与VARCHARCHAR：固定长度，处理速度相对较快，但是会删除数据尾部的空格。适用于对长度变化不大并且对查询速度有较高要求的数据。VARCHAR：可变长度。注：MyISAM：建议使用固定长度的数据列代替可变长度的数据列。MEMORY：目前都是都是使用固定长度的数据行存储，因此无论使用CHAR或者VARC
转载
2024-04-11 11:19:27
91阅读
1.锁为什么需要锁? 在实际中,比如在淘票票抢电影票,A用户和B用户都想要要2排2座,那么它们必然只有一个人能抢到。在这个过程中,使用锁可以对有效的资源在并发的环境下进行保护,解决隔离和并发的矛盾。什么是锁? 锁是计算机协调进程和线程在并发情况下访问某一资源的协调机制 在数据库中,数据是提供给多用户的共享资源,锁是用来保证资源的有效性和一致性 2.Mysql锁(MyISAM引擎)MySql锁机制的
转载
2023-10-08 07:05:37
150阅读
文章目录一. 什么是MVCC二.什么是行锁、表锁、间隙锁三. MVCC与各种锁的关系四. MVCC的实现原理4.1 多版本4.2 undo log4.2 readview 一. 什么是MVCCMVCC（Multi-Version Concurrency Control），即多版本并发控制。不使用锁，主要是用来提高数据库的并发性能；算是一种概念，不同的数据库有不同的实现方式，本文主要介绍mysql
转载
2023-12-15 10:07:32
63阅读
