作者： seiang 今天分享一个前几周遇到的一个 TiCDC 同步 MySQL 数据延迟的问题，处理过程一波三折，希望对大家有所帮助； （笔者能力有限，文章中...
原创
2022-08-12 11:09:11
124阅读
作者： seiang 写在前面：感谢社区小伙伴在该问题上的协助和支持，同时感谢社区伙伴计划；得益于社区支持，回馈社区用户；问答链接：https://asktug.com/t/topic/1020182本文主要针对TiCDC同步数据到kafka，关于kafka认证和非认证问题这里经过测试，分享TiCDC在5.0.3版本和6.5.1版本的差异；供大家使用过程中如果遇到类似问题可以作为参考； 一、问题
原创
2024-01-15 11:05:17
104阅读
作者： Brian 问题澄清下游 users表中username列默认为非空，所以ticdc应该会同
原创
2024-10-28 09:18:42
38阅读
使用 TiCDC 将 TiDB test 数据库多张表以 AVRO 格式发送到 Kafka 多个 Topic ，然后使用 Confluent 自带开源 connect 将 Kafka 多个 topic 数据实时写入到 Oracle 数据库，此链路支持实时数据 insert/delete/update/create table ddl/add column ddl 等。理论上此链路还可以支持下游为
原创
精选
2023-03-19 21:02:27
619阅读
库多张表以 AVRO 格式发送到 Kafka 多个 Topic ，然后使用 Confluent 自带开源 connect 将 Kafka 多个...
原创
2023-05-03 10:11:00
148阅读
作者： zjhiDB 增量数据同步工具，通过拉取上游 TiKV 的数据变更日志，TiCDC 可以将数据解析为有序的行级变更数据输出...
原创
2023-07-05 11:43:51
186阅读
随着公司业务发展，业务数据与日俱增，数据库的存储容量以及可扩展性都面临挑战，TiDB产品的引入可以帮助业务解决海量数据存储以...
转载
2022-08-15 10:46:12
228阅读
作者： 数据源的TiDB学习之路TiDB提供了多款数据同步或迁移工具，之前介绍的Data Migration主要适用于MySQL系的数据源往TiDB目标库的全量/增量迁移，详见 初识TiDB Data Migration迁移工具及实践 (qq.com)。本篇幅则主要介绍TiDB的另外一款增量数据同步工具TiCDC，它是一款以TiDB为数据源往MySQL、TiDB、Kafka等目标进行增量同步的工具
原创
精选
2024-02-19 13:56:41
516阅读
作者： hi-rustin TiCDC 是 TiDB 生态中的一个数据同步工具，它通过拉取 TiKV 的变更日志实现数据的增量同步。它除了可以将 TiDB 的数据同步至 My...
原创
2022-08-12 11:14:10
140阅读
作者： eastfisher 原文：https://tidb.net/blog/982a95c6 背景 数据库作为最核心的基础组件之一，要求它能够安全运行和保障数据安全，这是一个刚需。另外，数据库服务本身的高可用，是我...
原创
2022-09-20 17:28:36
173阅读
d checkpoint lag： 同步任务上下游数据的进度差，以时间单位秒计算。如果 TiCDC 消费数据的速度...
TiCDC 是一款通过拉取 TiKV 变更日志实现的 TiDB 增量数据同步工具，具有将数据还原到与上游任意 TSO 一致状态的能力，同时提供开放数据协议 (TiCDC Open Protocol)，支持其他系统订阅数据变更。
原创
2023-07-09 00:34:56
181阅读
源码解读的第六篇，主要是 TiCDC 中的 Puller 模块介绍，TiCDC 中的 Puller 通过创建 KV-Client 向 Ti...
原创
2023-04-23 09:21:44
74阅读
作者： sd码解读的第六篇, 主要是 TiCDC 中的 Puller 模块介绍，TiCDC 中的 Puller 通过创建 KV-Client 向 TiKV 发...
原创
2023-05-03 10:26:43
164阅读
从数据库架构可以提供数据冗余和自动故障转移，当主数据库发生故障时，从数据库可...
TiCDC 的基本原理，希望能够帮助读者深入地了解 TiCDC 。本篇文章是这一系列文...
原创
2023-01-08 00:38:13
164阅读
DC 源码解读系列的第七篇，聚焦 TiCDC 的 Sorter 模块，主要回答以下几个问题： 为什么在 TiCDC 中 Puller...
原创
2023-04-23 09:21:22
140阅读
作者： 像风一样的男子 背景双集群主从架构优点：高可用性：主从数据库架构可以提供数据冗余和自动故障转移，当主数据库发生故障时，从数据库可以接管服务，保证系统的持续可用性。读写分离：通过将读请求分发到从数据库，可以分担主数据库的读负载，提高系统整体的性能和响应速度。数据备份：从数据库可以用作主数据库的实时备份，确保数据的安全性和可靠性。在主数据库数据丢失或损坏时，可以从从数据库中快速恢复数据。
