在谈论数据库架构和数据库优化的时候,会常听到“分库分表”、“分片”、“Sharding”…等关键词。值的高兴的是,这部分公司的业务量应该正在实现(或者即将面临)高速增长,或技术方面也面临着一些挑战。但让人担忧的部分是,他们的系统“分库分表”真的有选择正确吗?随着业务规模的不断扩大,用户需要选择合适的方案去应对数据规模的增长,以应对逐渐增长的访问压力和数据量。关于数据库的扩展主要包括:业务拆分、主从
原创
2022-03-28 11:50:44
266阅读
分布式事务 要支持分布式事务,首先要解决的就是分布式系统时间的问题,也就是我们用什么来标识不同事务的顺序。通常有几种做法: TrueTime,TrueTime 是 Google Spanner 使用的方式,不过它需要硬件 GPS + 原子钟支持,而且 Spanner 并没有在论文里面详细说明硬件环境
转载
2017-12-03 19:27:00
173阅读
2评论
前几日和同事聊起来数据库分库分表问题,于是有了此文。起源 DRDS 数据库中间件Cobar、MyCat、Amoeba Tidb google spanner/F1 架构原理DRDS架构 Tidb架构 分片机制 DRDS 支持HASH、RANGE_HASH、MMDD等多种分片类型 原理上都是基于HASH分片 需要在建表时指...
原创
2021-12-27 14:51:27
247阅读
作者: Ann_ann 理想型的数据库应该具备的特点 强一致性和高可用; 高吞吐、高并发、低延迟; 标准SQL、支持 ACID 事务; 大数据生态友好; 有水平...
原创
2022-08-12 21:53:12
285阅读
mysql与pgsql的区别Pgsql中文文档 http://www.postgres.cn/docs/13/index.htmlPG由于MySQL的点:一、 PostgreSQL 的稳定性极强。 Innodb 等引擎在崩溃、断电之类的灾难场景下抗打击能力有了长足进步,然而很多 MySQL 用户都遇到过Server级的数据库丢失的场景——mysql系统库是MyISAM的,相比之下,PG数据库这方面
转载
2023-11-08 20:50:03
125阅读
pgsql与mysql有哪些区别作者:小新这篇文章给大家分享的是有关pgsql与mysql有哪些区别的内容。小编觉得挺实用的,因此分享给大家做个参考。一起跟随小编过来看看吧。pgsql与mysql的区别有:在pgsql上的功能实现比mysql严谨,对表的连接支持更加完整;pgsql的优化器功能完整,支持索引类型多,而mysql的优化器比较简单,适用于简单的查询操作PostgreSQL相对于MySQ
转载
2023-10-01 15:15:56
248阅读
记录一下时序分析的学习首先搞清楚以下时序分析时用到的名词:记录一下时序分析的学习1.什么是setup time和hold time,为什么需要setup time和hold time2.时序路径是什么,有哪些时序路径?3.如何分析时序路径上的时序?3.1 setup time的分析3.2 hold time的分析现在再来看看为什么需要时钟约束?1.什么是setup time和hold time,为
目录概述产品架构数据分片原理数据同步原理多版本并发控制关键算法介绍 参考文献概述随着5G、物联网、人工智能的高速发展,企业所生产的数据会越来越多,其规模可能达到数百TB 甚至PB级别对于传统的数据库Oracle、MySQL 当单表的数量达到一定值后,系能问题逐渐出现瓶颈,很多企业为了解决这个问题,对数据库进行分库分表的操作,通
TiDB Server关键性能参数与优化操作系统参数CPU内存磁盘IOTIDB配置参数performance性能参数TiKV Client相关参数Prepared Plan CacheTiDB系统参数ConcurrencyBatch SizeLimitBackoff 操作系统参数CPUDynamic Frequency Scaling CPU动态节能技术用于降低服务器功耗,通过选择系统空闲状态不
转载
2023-10-23 11:06:53
101阅读
导语:2021 年 4 月 25 日——企业级开源分布式数据库厂商 PingCAP 正式发布面向企业级核心场景的 TiDB 5.0 版本。TiDB 5.0 在性能、稳定性、易用性等方面均取得了巨大进步,并在事务处理、高可用与容灾、安全合规等方面新增多项企业级特性,通过引入 MPP (Massively Parallel Processing,即大规模并行处理)架构成为具备完整 HTAP 能力的分布
转载
2024-01-02 21:11:46
106阅读
# TiDB 性能 vs MongoDB
在当今的数据库技术领域,TiDB 和 MongoDB 是两个备受关注的分布式数据库。TiDB 是由 PingCAP 开发的开源 NewSQL 数据库,旨在结合可扩展性和事务模型,而 MongoDB 是一种领先的文档型 NoSQL 数据库,提供高性能和灵活的数据模型。本文将深入探讨 TiDB 和 MongoDB 的性能差异,并通过代码示例展示它们在实际应用
对mysql没有什么发言权。
就对postgresql谈一点使用的感受吧。
用postgresql也有快一年了。碰到问题主要是当一个表的数据量超过50w条记录的时候,select速度就变的很慢。对数据库和系统做了优化都不行,一个普通的select语句就要执行很久。所以经常导致连接数不够,这点很让人郁闷。
这个论坛有个存储关键词的表已经有283万条记录了,目前也基本上是这
转载
2024-06-27 11:39:12
70阅读
作者: li_zhenhuan TiDB VS MySQL 写入性能数据量在百万级以下 MySQL 写入性能优于 TiDB,在数据量达到千万级以上 MySQL 写入性能更差,因为 MySQL 数据量大时无法打散均匀分布到其它服务器,导致 B+ 树高度过高进而影响写入性能。TiDB 数据量大时会均匀将数据分散在多台 TiKV 服务器,写入性能不会随着数据量增长而下降。读取性能类似 TiDB
原创
精选
2024-04-07 13:57:35
226阅读
点赞
作者: aleibest2020 Pgsql 全量+增量迁移 tidb参考了几款工具 datax navicate flink cdc TapData我们用过dm 同构的 表的dump load 加日志的增量同步那么 同样pg2mysql 要考虑表结构转换与数据dump load ,还有增量实现起来比较复杂Datax 需要俩侧建表 表结构需要转换 然后配置表同步信
原创
2024-07-22 12:16:00
18阅读
这两天需要迁移数据库的数据文件到其他目录下,停止PostgreSQL服务,移动data目录到目的地后,修改对应的conf配置文件的数据目录参数为新的目录,启动PostgreSQL服务,出现错误,提示不能启动。纠结此问题很长时间,在文档中发现了数据库的表空间是记录在postgres这个系统数据库中的。说到这里,就要再简单讲一下表空间的概念了。表空间就是一个简单的目录,其主要用途分两个:1.单独扩展
转载
2024-04-19 12:26:23
54阅读
最近在看mysql文档,发现了很多好耍的东西,同时也发现了很多不好耍的东西. 想对比一下mysql和pgsql,于是到baidu上随便搜了几篇文章.其中有一篇文章写的不错.而且其中有一段话写的很经典:"没有好的数据库,只有合适的数据库" 以下文章转自:http://blog.chinaunix.net/u/553/showart.php?id=283310 Mysql与Postgresql数据性能
转载
2023-09-04 22:44:27
152阅读
...
转载
2021-11-02 12:49:00
1118阅读
2评论
作者:gzp1 附一条 Clickhouse vs TiDB vs Palo的测评文章,底下有传送门链接,有需要的自取~ 主要对比了如下九项内容: 数据导入 sql查询性能 QP...
转载
2022-08-13 00:31:26
354阅读
1.Posgresql是进程模式,多进程,单线程,类似的还有Oracle。而MYSQL采用的是线程模式,单进程,多线程,对此,大家在运行数据库的时候可以查看任务管理器,SQL Server也是如此。众所周知,多进程,进程模式,利用CPU时间片轮转,可以利用更充分CPU,因此光拿多核单台机器上来说,他明显在支持高并发性能方面更胜一筹。而线程模式呢,开一个线程显然要比开一个进程所耗费的资源要少,另外在
转载
2023-08-10 21:26:49
261阅读
pgsql简介1、pg和mysql的优劣势2、yum下载安装2.1、启动初始化3、源码编译安装4、pg_ctl管理工具4.1、创建新的数据库,多实例5、常用选项5.1、psql6、配置postgresql6.1、配置文件6.1.1、开启远程登录6.2pg_hba.conf文件6.2.1、文件格式6.2.2、远程连接免密登录6.3、数据的组织结构6.4、创建数据库6.5、删除数据库6.6、数据库文
转载
2023-12-01 13:45:54
202阅读