数据库复制的主要目的是在几个不同的数据库节点上保留相同数据的副本，从而提供一种数据冗余。这份冗余的数据可以提高数据查询性能，而更重要的是保证数据库的可用性。本篇文章介绍两种复制模式：单主复制与多主复制。 一、单主复制 单主复制，也称主从复制。写入主节点的数据都需要复制到从节点，即存储数据库副本的节点。当客户要写入数据库时，他们必须将请求发送给主节点，而后主节点将这些数据转换为复制日志或修改数据流发
21 世纪的开发者往往要面对一种窘境：需在众多的数据库中艰难地做出选择。他们其实也想如老一辈技术人一样闭着眼睛去选择 Oracle 或者 DB2，因为它们曾经被证明是“不会出错”的选择，即无论选择哪款数据库，都不会丢工作。 而时至今日，时代变了，我们如果不了解各种数据库内部的机理，即使选择大厂的成熟产品也有可能掉进“坑”里。因此，选择合适的数据库就成了日常工作中一项必备技能。 当然数据库的分类有各
一、白帽子最喜欢用什么安全工具？ 2020 年的 HackerOne 黑客报告中，统计过白帽子们最喜欢用的软硬件工具。 从图中可以看到，89% 的白帽子都会使用 Burp Suite 这个 Web 应用安全测试工具，有 39% 会尝试自己写工具，第三名的 Fuzzers 是模糊测试工具。再后面主要是一些代理抓包工具、漏洞扫描器和调试器（用于调试二进制程序居多）。 涉及 Web 渗透的常用工具集中
一、历史数据库 MySQL 数据库可以很好地支撑海量的 OLTP（Online Transaction Processing）的系统，但是对于海量的互联网业务来说，数据量是非常巨大的。 假设一天 10 亿笔交易，每笔交易至少需要有一条记录，用于记录该笔交易，这就是通常所谓的流水数据。再假设一笔流水占用 1K 存储空间，那么每日流水占用存储空间 1000G，365 天就需要占用 365T 的存储空间
引起 MySQL 数据库性能抖动的原因有很多，比如大事务、定时批量查询等，而这些原因我们一般都会注意到。但是，有一个引起性能抖动的原因却经常被我们忽视，那就是在生产环境删除无用的大表，即 DROP TABLE。 一、为什么要 DROP TABLE？ 生产环境中，为什么要 DROP TABLE？相信绝大部分原因是为了释放空间。 生产环境大多数是已经确定的库表，一般不会进行 DROP TABLE 这么
前面介绍了很多关于分布式数据库的一些知识点，但是，分布式数据库还有一个很令人头疼的问题，那就是分布式事务。本篇文章，我们就来看一下，如何在海量的互联网业务中实现分布式事务。 一、分布式事务是什么？ 事务的概念相信大家已经非常熟悉了，事务就是要满足 ACID 的特性，总结来说。 A（Atomicity） 原子性：事务内的操作，要么都做，要么都不做； C（Consistency） 一致性：事务
访问分布式数据库有两种模式： 业务直接根据分库分表访问 MySQL 数据库节点； 根据中间件访问。 一、分库分表直接访问 在设计分片时，我们已经明确了每张表的分片键信息，所以业务或服务可以直接根据分片键对应的数据库信息，直接访问底层的 MySQL 数据节点，比如在代码里可以做类似的处理： void InsertOrders(String orderKey, int userKey...
前面我们了解了分布式数据库的架构，知道各类分布式数据库都离不开计算层、存储层、元数据层这三层关系。另外，很重要的一点是，了解了分布式数据库是把数据打散存储在一个个分片中。在基于MySQL 的分布式数据库架构中，分片就存在于 MySQL 实例中。 本篇文章，我们就来了解一下，如何正确的把数据分片，充分发挥分布式数据库架构的优势。 一、如何确定分片键 在对表中的数据进行分片时，首先要选出一个分片键（S
现在互联网应用已经普及，数据量不断增大。对淘宝、美团、百度等互联网业务来说，传统单实例数据库很难支撑其性能和存储的要求，所以分布式架构得到了很大发展。而开发人员、项目经理，一定要认识到数据库技术正在经历一场较大的变革，及早掌握好分布式架构设计，帮助公司从古老的单实例架构迁移到分布式架构，对自己在职场的竞争力来说，大有益处。 一、什么是分布式数据库？ Wiki 官方对分布式数据库的定义为： A d
在高可用的三大架构设计（基于数据层的高可用、基于业务层的高可用，以及融合的高可用架构设计）中。仅仅解决了业务连续性的问题：也就是当服务器因为各种原因，发生宕机，导致MySQL 数据库不可用之后，快速恢复业务。但对有状态的数据库服务来说，在一些核心业务系统中，比如电商、金融等，还要保证数据一致性。 这里的“数据一致性”是指在任何灾难场景下，一条数据都不允许丢失（一般也把这种数据复制方式叫作“强同步”
MySQL复制技术实现业务层读写分离方案，本质上就是为了打造数据库的高可用，因为复制是高可用的基础。但只用复制同步数据又远远不够，还要结合自己的业务进行高可用设计。 一、什么是高可用？ 高可用（High Availability）是系统所能提供无故障服务的一种能力。 简单地说就是避免因服务器宕机而造成的服务不可用。 我们都知道，高可用是每个业务系统设计时，开发人员必须考虑的关键点。比如你的系统在发
大家可能会发现，自己的主从复制会存在主从数据延迟的问题，甚至会导致读写分离，架构设计在业务层出现较为严重的问题，比如迟迟无法读取到主库已经插入的数据。但这可能并不是 MySQL 复制的问题，而是业务没有根据 MySQL 复制的特点进行设计。 本篇文章，我们就来看一下主从复制延迟的原因，以及如何避免这个令人头疼的问题。 一、逻辑日志的优缺点 MySQL 复制基于的二进制日志是一种逻辑日志，其写入的是
业务需要上线，除了表和索引的结构设计之外，还要做好高可用的设计。因为在真实的生产环境下，如果发生物理硬件故障，没有搭建高可用架构，会导致业务完全不可用。 而这在海量并发访问的互联网业务中完全不敢想象。所以除了业务架构，还要做好可用性的架构设计。 本篇文章，我们一起来看一下MySQL 高可用架构中最基础、最为核心的内容：**MySQL 复制（Replication）**。 一、MySQL复制架构 数
3.分区表是将物理表结构相同的表通过分区函数组成逻辑大表，MySQL支持多种分区函数类型。分区表设计时，主键必须包含分区列，且唯一索引需考虑分区列以实现全局唯一。分区表主要用于数据管理，而非性能提升，查询条件应包含分区字段以避免扫描所有分区。以电商订单表为例，按年创建分区表可方便数据删除和管理。
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
