文章目录日志存储1. 文件目录布局2. 日志索引3. 日志清理4. 磁盘存储4.1 页缓存4.2 零拷贝 日志存储1. 文件目录布局Kafka中的消息是以主题为基本单位，各个主题在逻辑上相互独立。一个分区对应一个日志（Log），为了防止Log过大，Kafka有引入日志分段（LogSegment），将Log切分成多个LogSegment，有利于消息的维护和清理。向Log追加消息是顺序写入，只有最后
转载
2024-04-25 23:45:51
62阅读
一、环境要求MySQL 企业版或者社区版OGG for MySQL 12.2.0.2OGG Application Adapter 12.2.0.1java 7(推荐JDK 1.8)二、安装步骤:(下面将介绍MySQL/OGG相关安装和配置过程，MySQL的安装将不做介绍，另外需要注意的是：MySQL/OGG相关参数配置以熟悉MySQL/OGG的运维人员配置为准，本示例只是提供一个可运行的样本)安
OGG（Oracle GoldenGate）参数介绍 所有的GoldenGate进程均有参数文件
Manager
Extract
Replicat
Utilities
所有参数均有缺省配置
实际应用只需对小部分参数进行配置
所有参数文件均放在 ./dirprm目录下
缺省通过进程名进行查找 一、全局参数 MGRSERVNAME
转载
2024-04-23 15:15:36
249阅读
ORACLE OGG同步到KAFKA一、介绍 Kafka是一种高效的消息队列实现，通过订阅kafka的消息队列，下游系统可以实时获取在线Oracle系统的数据变更情况，实现业务系统ogg同步全量数据方式： ①通过数据泵方式基于SCN导出并导入到目标端，此方式用于Oracle 到Oracle的ogg同步环境中。 ②通过ogg本身的初始化方式，初始化全量数据到目标端，此方式通用于所有环境，但是速度相对
转载
2024-04-01 10:52:11
129阅读
OGG 从Oracle备库同步数据至kafkaTable of Contents1. 目的2. 环境及规划3. 安装配置JDK3.1. 安装jdk3.2. 配置环境变量4. 安装Dataguard4.1. 安装备库软件4.2. 配置dataguard4.2.1. 主库4.2.2. 备库4.3. 完成操作4.4. 启动实时复制5. zookeeper集群5.1.
[toc]一、环境规划实现目标：配置OGG，实现从Oracle到kafka数据增量同步。同步消息格式为json。主机规划：身份主机名版本IPOGG版本源端orcldbRelease 11.2.0.4.0172.16.10.152OGG-12.3.0.1.4目标端kafkakafka_2.11-1.1.1172.16.100.241OGG_BigData_Linux_x64_12.3.2.1.1二、
转载
2024-04-26 11:09:49
105阅读
一.前言
Manager进程是GoldenGate的控制进程，运行在源端和目标端上。它主要作用有以下几个方面：启动、监控、重启Goldengate的其他进程，报告错误及事件，分配数据存储空间，发布阀值报告等。在目标端和源端有且只有一个manager进程Extract运行在数据库源端，负责从源端数据表或者日志中捕获数据。Extract的作用可以按照阶段来划
1.--源端 --停源端所有进程 stop * stop mgr 2.--目标端进程 info REP_K4 showch 看RBA是否变化，
原创
2022-07-13 16:32:16
411阅读
一、架构1、Kafka集群架构 多个 broker 协同合作，producer 和 consumer 部署在各个业务逻辑中，三者通过 zookeeper管理协调请求和转发。 2、Kafka Stream架构 Kafka Streams通过生产者和消费者，并利用kafka自有的能力来提供数据 平行性，分布式协调性，故障容错和操作简单性： 3、Kafka stream处理拓扑 ①流是Kafka
转载
2023-12-15 11:13:15
80阅读
简介GoldenGate的定位 零宕机时间数据库升级和迁移。满足用户亚秒级实时数据的需求。可持续的数据高可用性和实时商务智能。异构平台及跨操作系统实时数据同步。对源系统和目标系统是非侵入式的。GoldenGate技术架构和传统的逻辑复制一样，Oracle GoldenGate 实现原理是通过抽取源端的redo log 或者 archive log ，然后通过TCP/IP投递到目标端，最后解析还原应
今天通过最简单的一个例子，给大家讲解下 goldengate 实现两台Oracle数据库的同步。 内容如下:1.配置数据库信息。 2.安装golden gate. 3.配置golden gate. 4.测试同步情况 首先我们看看实验环境 环境 源端是一个单实例 Oracle Enterprise 5 + ORACLE 10.2.0.4 IP ：10.4.128.100&nb
远程同步kafka
请衔接上文查看
这个就是直接远程同步数据库，128 已经是使用中的kafka，我们直接通过ogg远程同步，这种情况 128库不需要安装任何ogg相关
01、配置远程同步配置文件replicat
01）、编辑进程配置文件
GSCI (RHEL44223) 9> edit param rekafka2
REPLICAT rekafka2
source
原创
2022-01-11 10:28:49
574阅读
在大数据时代，存在大量基于数据的业务。数据需要在不同的系统之间流动、整合。通常，核心业务系统的数据存在OLTP数据库系统中，其它业务系统需要获取OLTP系统中的数据。传统的数仓通过批量数据同步的方式，定期从OLTP系统中抽取数据。但是随着业务需求的升级，批量同步无论从实时性，还是对在线OLTP系统的抽取压力，都无法满足要求。需要实时从OLTP系统中获取数据变更，实时同步到下游业务系统。本文基于Or
转载
2024-05-21 16:36:22
270阅读
分类Oracle数据迁移工具：storage，XTTS,exp/imp，expdp/impdp，RmanOracle数据库灾备工具：Oracle GoldenGate,Active DateGuard, DateGuard,迁移适用用场景利用storage存储迁移（同平台同版本 同库 物理磁盘迁移）利用Rman 迁移（同平台同版本跨版本 整库）利用XTTS迁移（跨平台跨版本
转载
2024-03-18 08:40:28
0阅读
一、摘要1.OGG是数据同步软件，或者说是逻辑复制软件，其竞争对手有IBM CDC，DELL shareplex，DSG，DDS等等。2.OGG软件是需要安装在操作系统上的，Oracle DB软件没有自带OGG软件（至少目前是这样的）3.OGG软件有三大进程（说四大进程也行）：三大进程：源头抽取进程、源头传输进程、目的端应用进程（即：复制进程）四大进程：源头抽取进程、源头传输进程、目的端serve
转载
2024-05-02 22:49:20
45阅读
# Oracle CDC 同步数据 Kafka
## 简介
本章节介绍如何使用Oracle自带的LogMiner来提取数据归档日志，并识别输出到Kafka集群，用于后期实时计算业务场景。
## 环境
OS: Windows 10
内存：32GB
部署：docker desktop
## 效果
### docker服务
----源端
imp sender/oracle file=/opt/nwpp.dmp log=/opt/nwpp.log fromuser=NWPP touser=sender ignore=y
博文结构图如下： 一、环境描述以及注意事项 1.1 环境简介 IP系统Oracle版本OGG版本源端172.16.10.16/36RHEL6.5oracle1120412.1目标端172.16.10.154RHEL6.5oracle1120412.1同步用户为：hr。 1.2 OGG网络带宽规划 GoldenGate数据同步所
