1.1. 数据库技术发展简史 数据库技术产生于20世纪60年代末70年代初，其主要主要研究如何存储，使用和管理数据。随着计算机硬件和软件的发展，数据库技术也不断地发展。数据库技术在理论研究和系统开发上都取得了辉煌的成就。 从数据管理的角度看，数据库技术到目前共经历了如下三个阶段： 人工管理阶段-数据
转载
2020-07-10 13:41:00
195阅读
前言前面三章基本把 TiDB 的环境弄好了，也做了一下简单测试，有兴趣的同学可以看一下：TiDB 入门（一）：TiDB 简介TiDB 入门（二）：虚拟机搭建 TiDB-Ansible 部署方案TiDB 入门（三）：简单测试
本来还有一些用 jmeter 压力测试的，后来测试的结果非常不好，就不想写出来了，因为自己毕竟是用虚拟机模拟的和 TiDB 官网推荐的配置差很多，如果自己写出来是有失偏颇的。为
转载
2024-03-05 22:37:02
76阅读
################## ###################
原创
2022-08-02 17:36:02
175阅读
Tidb架构Tidb架构图，如上图
主要分为3部分
1.TiKV-Server
tikv是负责存储数据，从外部看 TiKV 是一个分布式的提供事务的 Key-Value 存储引擎。类似map数据结构（键值对）
tikv之间是有心跳的，tikv之间的数据都是互相备份的，可以保证数据一致性
既然tikv是负责存储数据的，为什么读写速度这么快？？？？
数据存储效率还是很高
转载
2023-07-09 18:07:57
142阅读
TiDB 的整体架构如下图所示↓底层使用的是KV存储，但却支持MySQL的协议，这是如何做到的呢？先得了解TiDB架构中几个核心模块↓TiDB Server 负责接收 SQL 请求，处理 SQL 相关的逻辑，并通过 PD 找到存储计算所需数据的 TiKV 地址，与 TiKV 交互获取数据，最终返回结果。TiDB Server 是无状态的，其本身并不存储数据，只负责计算，可以无限水平扩展，可以通过负
转载
2024-02-08 23:15:28
93阅读
作者：马顺华从事运维管理工作多年，目前就职于某科技有限公司，熟悉运维自动化、OceanBase 部署运维、MySQL 运维以及各种云平台技术和产品。并已获得 OceanBase 认证 OBCA、OBCP 证书、OpenGauss 社区认证结业证书、崖山 DBCA 证书、亚信 AntDBCA 证书。OceanBase & 墨天轮第二、三、四届技术征文大赛，多次获得 一、二、三 等奖，时常在墨
原创
精选
2024-01-29 15:53:13
976阅读
TiDB是一个分布式数据库系统，具有高可用性、可扩展性和兼容性等特点。下面是一个TiDB的部署方案及常用命令50条。一、TiDB部署方案安装TiUP：TiUP是一个TiDB生态系统的集成管理工具，你可以使用它来安装和管理各种TiDB组件。curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh
原创
2023-10-11 09:27:27
161阅读
准备机器 因为是测试没有按官方配置所以性能不高只是能使用，如果要达到高性能的话就按官方的硬件配置来192.168.0.160（2核3g）中控机，目标机器
192.168.0.50（2核2g）目标机器
192.168.0.217（2核2g）目标机器端口说明TiDB 4000 应用及 DBA 工具访问通信端口
TiDB 10080 TiDB 状态信息上报通信端口
TiKV 20160 TiKV 通信端
转载
2023-08-20 20:21:44
207阅读
本文档总结使用 TiDB 时的一些最佳实践，主要涉及 SQL 使用和 OLAP/OLTP 优化技巧，特别是一些 TiDB 专有的优化开关。建议先阅读讲解 TiDB 原理的三篇文章（讲存储，说计算，谈调度），再来看这篇文章。前言数据库是一个通用的基础组件，在开发过程中会考虑到多种目标场景，在具体的业务场景中，需要根据业务的实际情况对数据的参数或者使用方式进行调整。TiDB 是一个兼容 MySQL 协
转载
2024-05-28 19:54:58
187阅读
TiDB 的事务的实现采用了 MVCC（多版本并发控制）机制，当新写入的数据覆盖旧的数据时，旧的数据不会被替换掉，而是与新写入的数据同时保留，并以时间戳来区分版本。GC 的任务便是清理不再需要的旧数据。整体流程一个 TiDB 集群中会有一个 TiDB 实例被选举为 GC leader，GC 的运行由 GC leader 来控制。GC 会被定期触发。每次 GC 时，首先，TiDB 会计算一个称为 s
转载
2024-08-28 10:17:35
84阅读
TiDB 提供了丰富的数据迁移相关的工具，用于全量迁移、增量迁移、备份恢复、数据同步等多种场景。本文介绍了使用这些工具的场景、优势和相关限制等信息。请根据你的需求选择合适的工具。下图显示了各迁移工具的使用场景。下表介绍了迁移工具的使用场景、支持的上下游等信息。名称使用场景上游（或输入源文件）下游（或输出文件）主要优势使用限制TiDB DM用于将数据从与 MySQL 协议兼容的数据库迁移到 TiDB
转载
2023-10-28 23:20:30
238阅读
一、操作系统参数CPUdynamic frequency scaling 五种功耗模式 推荐performance 时刻保持高速运转cpupower frequency-set --governor performanceNUMA Binding 为CPU绑定内存，提升效率MemoryTransparent Huge Page（THP）关闭大页内存Virtual Memory Para
转载
2023-12-25 00:31:19
109阅读
https://docs.pingcap.com/zh/tidb/v4.0 TiDB 是 PingCAP 公司自主设计、研发的开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP)
原创
2021-08-01 14:12:36
383阅读
本文基于 TiDB release-5.1进行分析，需要用到 Go 1.16以后的版本我的博客地址：https://www.luozhiyun.com/archives/631所谓 Hash Join 就是在 join 的时候选择一张表作为 buildSide 表来构造哈希表，另外一张表作为 probeSide 表；然后对 probeSide 表的每一行数据都去这个哈希表中查找是否有匹配的数据。根
转载
2023-06-26 14:22:21
186阅读
诊断整个 TiDB 集群，详情参见 TiDB 文档 - TiDB Dashboard...
原创
2023-01-08 00:49:52
196阅读
tidb改造了我们公司bi系统。这个过程中，我感觉到了tidb的强大。也打算记录一下整个改造过程。我打算从4...
原创
2023-07-10 06:50:55
180阅读
目录1 HBase 简介1.1 HBase是什么1.2 HBase的特点1.3 HBase的应⽤2 HBase数据模型3 HBase整体架构4 HBase集群安装部署5 HBase shell 基本操作6 HBase原理深⼊6.1 HBase读数据流程6.2 HBase写数据流程6.3 HBase的flush(刷写)及compact(合并)机制6.4 Region 拆分机制6.5 HBase表的
转载
2023-09-05 17:02:40
122阅读
作者： Coke
升级背景 原集群版本过低，运维难度大，决定进行版本升级 经过测试发现，v5.3.0版本相对于v3.0.10版本性能有很大提升 决定将TiDB v3.0.10升级到TiDB v5.3.0
升级方式 本方案采用Dumpling+Lightning+TiDB Binlog的方式进行 【升级方式划分】 大体分为 停机升级 与 不停机升级 根据字面
转载
2024-03-28 21:27:40
98阅读
