国庆期间闲来无事，写了一个简单的小程序，小程序名称叫做 IT藏经楼。目的是分享这些年自己积累的一些学习材料，方面大家查找使用，包括电子书、案例项目、学习视频、面试题和一些PPT模板。里面所有材料都免费分享。目前小程序中只发布了非常小的一部分，后续会陆续上传分享。当前版本的小程序页面也比较简单，还在逐渐的优化中。分区这里讲的分区，此“区”非彼“区”，这里讲的分区的意思是指将同一表中不同行的记录分配到
转载
2024-05-31 01:34:36
36阅读
# golang mysql分库分表性能
## 引言
在高并发的场景下，单一的数据库可能无法满足应用的需求，因此需要将数据库进行分库分表操作。golang是一种高效的编程语言，被广泛应用于服务器端开发。本文将介绍如何使用golang进行mysql分库分表操作，并探讨其性能优化方法。
## 分库分表概述
分库分表是一种数据库扩展技术，将一个大的数据库分成多个小的数据库，每个数据库中的表也可以
原创
2024-01-10 04:00:50
275阅读
# MySQL分库分表性能测试
## 简介
在实际的应用中，数据库的性能是很重要的。当数据量逐渐增大时，我们需要对数据库进行分库分表，并且需要进行性能测试，以确保数据库的稳定性和性能。
本文将介绍分库分表性能测试的流程，并提供每一步所需的代码以及相应的注释。
## 流程
下面是分库分表性能测试的流程，包括以下步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 创建测试数
原创
2023-12-06 07:42:29
306阅读
1、分库分表 很明显，一个主表（也就是很重要的表，例如用户表）无限制的增长势必严重影响性能，分库与分表是一个很不错的解决途径，也就是性能优化途径，现在的案例是我们有一个1000多万条记录的用户表members,查询起来非常之慢，同事的做法是将其散列到100个表中，分别从members0到members99，然后根据mid分发记录到这些表中，牛逼的代码大概是这样子： 复制代码&l
转载
精选
2014-11-27 18:23:58
485阅读
1、分库分表 很明显，一个主表（也就是很重要的表，例如用户表）无限制的增长势必严重影响性能，分库与分表是一个很不错的解决途径，也就是性能优化途径，现在的案例是我们有一个1000多万条记录的用户表members,查询起来非常之慢，同事的做法是将其散列到100个表中，分别从members0到member
转载
2016-11-02 20:28:00
105阅读
2评论
MYSQL性能优化之分库分表与不停机修改mysql表结构，需要的朋友可以参考下1、分库分表 很明显，一个主表
原创
2021-07-29 17:27:59
153阅读
一、准备工作1、准备三个数据库：db0、db1、db22、每个数据库新建两个订单表：t_order_0、t_order_1 DROP TABLE IF EXISTS `t_order_x`;
CREATE TABLE `t_order_x` (
`id` bigint NOT NULL AUTO_INCREMENT,
`user_id` bigint NOT NULL,
`order
datecommentscategoriestagspermalinktitle 2020/3/21 true 5.14 高性能数据库集群之 分库分表 软件架构 数据量达到千万甚至上亿条的时候，单台数据库服务器的存储能力会成为系统的瓶颈，主要体现在这几个方面：数
## MySQL 分库分表
分库分表是一种常用的数据库架构设计方案，用于处理大规模数据的存储和查询。在本文中，我们将介绍什么是分库分表，为什么需要使用分库分表，以及如何使用 MySQL 实现分库分表。
### 1. 什么是分库分表？
分库分表是将一个大型数据库拆分为多个小型数据库的过程，每个小型数据库称为一个分片。每个分片可以存储部分数据，可以在不同的物理服务器上部署，从而提高数据库的存储和
原创
2023-10-05 12:46:01
67阅读
今天介绍下sharding-sphere，主要介绍他的特性，分库分表的技术的详解。(一)下载源码官网地址获取源码https://shardingsphere.apache.org/index_zh.html下载源码因为git的包名比较长，git有可以创建4096长度的文件名，然而在windows最多是260，因为git用了旧版本的windows api，为此踩了个坑。从github克隆一个项目下发
转载
2024-08-18 17:43:35
49阅读
分布式事务产生背景数据库拆分单库单表支撑不了业务时需要对数据库进行水平拆分。分库分表后，原来在一个数据库上就能完成的写操作，可能会跨多个数据库，就产生了跨数据库事务问题业务服务化拆分业务拆分后，一个完整的业务逻辑可能会涉及多个服务，多个服务之间存在跨服务事务问题分布式事务理论基础两阶段提交协议（对应阿里的AT模式）事务管理器分为两个阶段来协调资源管理器，第一阶段准备资源，也就是预留事务所需资源，如
转载
2024-02-14 13:31:46
134阅读
# 使用MySQL分库分表存储数据，并使用Elasticsearch进行搜索
## 简介
随着数据量的不断增加，传统的单库单表存储方式已经无法满足需求，因此分库分表成为了一种常见的数据存储方式。而Elasticsearch作为一款强大的全文搜索引擎，能够快速、准确地搜索大规模的数据。本文将介绍如何使用MySQL进行分库分表存储数据，并使用Elasticsearch进行搜索。
## MySQL
原创
2024-07-02 04:05:10
156阅读
背景当mysql的一个大表总数达上亿时，mysql性能变的很差，且新增或修改字段、索引也需要花费很长时间，至少十几个小时。这种情况，一般的做法是分库分表，这种方法需要业务层根据规则，物理分库分表，比如按照时间分表，业务代码需要兼容。Tidb是分布式newsql数据库，兼容了大部分mysql协议和操作，业务不需要调整，数据库性能也能保证。Tidb介绍1开源分布式的关系型数据库TiDB 是开源分布式
转载
2024-07-08 18:36:06
96阅读
从Radon部署到把wordpress迁移到Radon上，今天在一个普通的硬件环境给大家测试一下Radon性能，让大家使用Radon大概有一个了解。
转载
2021-07-25 15:27:29
792阅读
目录1、分页查询查询阶段返回阶段深度分页2、扫描（scan）和滚屏（scroll）scroll滚屏scan 扫描1、分页查询查询阶段在初始化查询阶段，查询被向索引中的每个分片副本（原本或副本）广播。每个分片在本地执行搜索并且建立了匹配 文档的 优先队列。优先队列：一个存有前 n 个 匹配 文档 的有序列表。这个优先队列的大小由分页参数 from 和 size决定。GET /_search
{
转载
2024-02-12 19:53:40
135阅读
一.分表分库1.分表垂直分表：垂直分表可以理解为按列分表，比如一个用户表包括了用户登录信息，用户基本资料，用户账号信息等等，这个表字段太多，查询时候肯定会影响性能，所有可以按照它们各自的业务垂直分表；水平分表：按照行来分，大表拆成小表，但是字段都相同；按照id来分，按照业务（时间，类型）来分，用hash算法来分，用雪花算法来分2.分库垂直分库（按业务分库）：分布式微服务天然就是垂直分库；一个mys
转载
2024-04-08 11:13:24
102阅读
一直好奇存储大小相同的记录，es和mysql谁占用存储空间更大呢。虽然按道理来看应该是mysql，但一直没有亲自尝试，总还是心里感觉不那么踏实。所以今天做一个测试，看看到底实际情况怎么样？ 关于在二者的数据存储，有下面一个大概的说明，可能不够准确，但我只知道这么多:1、ES先将数据存到内存，再通过队列的形式写到磁盘；虽然mysql也有内存模式，但是在大多数实际应用中我们仍然使用的传统模式
转载
2023-06-02 16:06:11
749阅读
前言来到这篇随笔，我们继续演示如何实现EF多租户。今天主要是演示多租户下的变形，为下图所示 实施项目结构这次我们的示例项目进行了精简，仅有一个API项目，直接包含所有代码。其中Controller，StoreContext，Entity都完全和以往的示例一模一样，这里就不再过多介绍了。具有主要区别的是 CombinedConnectionGenerator 和 Startup
转载
2024-04-03 15:34:25
32阅读
// ************************************************ 分表和分区的区别及实现*****************************************************//分表和分区的区别：一，什么是mysql分表，分区 什么是分表，从表面意思上看呢，就是把一张表分成N多个小表，具体请看:mysql分表的3种方法什么是分区，分区呢就是
转载
2023-10-23 20:16:27
28阅读
随着互联网的发展，之前企业级应用面对待处理的数据量越来越大，这对数据库资源的性能与成本提出了相当大的挑战，为之，业界便提出了分库分表的技术解决方案。顾名思义，分库分表就是将原先集中在一张表或一个库的数据，按照一定规则进行拆分，然后将拆分后的数据通过分布式方式存储到多个表上。 这样，当数据量增加时，我们可以通过平行扩展分库和分表的数量来进行系统扩容。然而，任何一种技术都是一柄双
转载
2024-08-28 19:46:48
64阅读
