简介GoldenGate的定位 零宕机时间数据库升级和迁移。满足用户亚秒级实时数据的需求。可持续的数据高可用性和实时商务智能。异构平台及跨操作系统实时数据同步。对源系统和目标系统是非侵入式的。GoldenGate技术架构和传统的逻辑复制一样，Oracle GoldenGate 实现原理是通过抽取源端的redo log 或者 archive log ，然后通过TCP/IP投递到目标端，最后解析还原应
本文目录：一、OGG概述 （一）OGG逻辑架构二、迁移方案 （一）环境信息 （二）表结构迁移 （三）数据迁移 1.源端OGG配置 （1）Oracle数据库配置 （2）Oracle数据库OGG用户创建 （3）源端OGG 管理进程(MGR)配置 （4）源端OGG 表级补全日志(trandata)配置 （5）源端OGG 抽取进程(extract)配置 （6）源端OGG 传输进程(pump)配置 （7）源
# OGG 抽取 MySQL 增量数据到 Kafka 的实现教程
## 引言
在大数据时代，数据的实时传输与处理变得尤为重要。Oracle GoldenGate（OGG）是一款高效的数据复制工具，可以用于将数据库中的增量数据实时推送到Kafka。本文将为您详细讲解如何实现“OGG抽取MySQL增量数据到Kafka”的过程。通过以下内容，您将能够掌握这个过程中每个步骤的具体实现，并具备独立操作的
一般来说OGG Goldengate 抽取进程对CPU的压力非常小， 而对于I/O 、network的吞吐量有轻量级的要求。用低配置AIX测试结果如下。抽取进程支持DB Log生成峰值速度 = 4 * 2.1 = 8.4 MB/秒，或30GB/小时，或726 GB/天。 抽取进程平均CPU占用1.9% 。投递进程支持DB Log生成平均速度 = 2,096,854 * 2.1 = 4.
转载
2024-01-08 19:17:39
284阅读
============================================1、管理进程 oggCI (ogg1) 22> edit params mgr PORT 7809 DYNAMICPORTLIST 7810-7860 AUTORESTART ER , RETRIES 3, WAITMINUTES 5 PURGEOLDEXTRACTS ./dirdat/pd, USECH
转载
2023-12-26 11:00:34
212阅读
一、需求描述由于本人主要从事大数据可视化的工作，就少不了对海量数据的分析，但是我们并不是数据的生产来源，数据来自有大数据可视化分析需求的用户，所以实际业务中往往会遇到大量数据从传统存储方式（关系型数据库、文件存储等）到数据仓库的迁移，本次就以实现如何基于kafka从oracle到hive仓库做数据的迁移工作。 本次操作的数据量为空间坐标数据，原始数据存储在oracle中，大概10亿条左右，通过本
转载
2023-10-08 15:54:39
226阅读
今早，同事说遇到的奇怪的GoldenGate延时问题，让帮忙看看。1、现象描述：A库上有2个抽取进程，（抽取进程1）后期投递给B库，（抽取进程2）后期投递给C库，两个进程抽取的内容基本相同。 抽取进程1 出现延时，延迟了1个多小时，而抽取进程2一切正常。 2、处理过程：（1）、一般情况下，抽取进程很少会出现延迟的现象。如果出现延迟，通常是如下几种原因： &nbs
# 从 OGG 抽取 MySQL 数据：一项简单的指南
在大数据时代，数据的管理与抽取变得尤为重要。Oracle GoldenGate（OGG）是一个流行的数据复制和同步工具，能够实时抽取并传输数据。在这篇文章中，我们将探讨如何使用 OGG 从 MySQL 数据库中抽取数据，并提供相应的代码示例和流程图，以帮助理解整个过程。
## 一、什么是 OGG？
Oracle GoldenGate 是
在GoldenGate的运维过程中，经常会因为某些原因，需要修改源端抽取进程的读取点，比如从指定时间开始解析日志。
操作命令如下：
GGSCI>alter extract ex2, begin 2020-04-22 10:00:00
以上命令即可将抽取进程的读取点改到2020.4.22 10点整，OGG会捕获这个时间之后启动的事务。 
转载
2024-04-16 19:46:58
187阅读
哪些情况OGG抽取进程需要旧的归档日志呢：抽取进程abend或stop了一段时间，再次启动自然需要这段时间内的所有归档日志。比如重启了OS或数据库，但忘了启动ogg；长假期间抽取进程abend了无人知晓。数据库存在迟迟未提交的长事务，时间长了事务的redo信息可能刷到了归档文件中，后面事务提交时抽取进程要扫描这些归档。比如开发人员通过plsqldeveloper修改了表数据，忘了提交；数据库（BI
转载
2024-07-04 15:00:58
56阅读
ORACLE OGG同步到KAFKA一、介绍 Kafka是一种高效的消息队列实现，通过订阅kafka的消息队列，下游系统可以实时获取在线Oracle系统的数据变更情况，实现业务系统ogg同步全量数据方式： ①通过数据泵方式基于SCN导出并导入到目标端，此方式用于Oracle 到Oracle的ogg同步环境中。 ②通过ogg本身的初始化方式，初始化全量数据到目标端，此方式通用于所有环境，但是速度相对
转载
2024-04-01 10:52:11
129阅读
OGG 从Oracle备库同步数据至kafkaTable of Contents1. 目的2. 环境及规划3. 安装配置JDK3.1. 安装jdk3.2. 配置环境变量4. 安装Dataguard4.1. 安装备库软件4.2. 配置dataguard4.2.1. 主库4.2.2. 备库4.3. 完成操作4.4. 启动实时复制5. zookeeper集群5.1.
[toc]一、环境规划实现目标：配置OGG，实现从Oracle到kafka数据增量同步。同步消息格式为json。主机规划：身份主机名版本IPOGG版本源端orcldbRelease 11.2.0.4.0172.16.10.152OGG-12.3.0.1.4目标端kafkakafka_2.11-1.1.1172.16.100.241OGG_BigData_Linux_x64_12.3.2.1.1二、
转载
2024-04-26 11:09:49
105阅读
一、OGG概述OGG全称为Oracle GoldenGate,是由Oracle官方提供的用于解决异构数据环境中数据复制的一个商业工具。相比于其它迁移工具OGG的优势在于可以直接解析源端Oracle的redo log，因此能够实现在不需要对原表结构做太多调整的前提下完成数据增量部分的迁移。本篇文章将重点介绍如何使用OGG实现Oracle到MySQL数据的平滑迁移，以及讲述个人在迁移过程中所
转载
2024-10-26 21:17:42
51阅读
文章目录日志存储1. 文件目录布局2. 日志索引3. 日志清理4. 磁盘存储4.1 页缓存4.2 零拷贝 日志存储1. 文件目录布局Kafka中的消息是以主题为基本单位，各个主题在逻辑上相互独立。一个分区对应一个日志（Log），为了防止Log过大，Kafka有引入日志分段（LogSegment），将Log切分成多个LogSegment，有利于消息的维护和清理。向Log追加消息是顺序写入，只有最后
转载
2024-04-25 23:45:51
62阅读
【Goldengate性能优化】优化Extract抽取进程性能，解决OGG抽取日志延迟 一般来说OGG Goldengate 抽取进程对CPU的压力非常小， 而对于I/O 、network的吞吐量有轻量级的要求。 用低配置AIX测试结果如下。 抽取进程支持DB Log生成峰值速度 = 4 * 2.1 = 8.4 MB/秒，或30GB/小时，或726 GB/天。 抽取进程平均CPU占用1.9%
1.--源端 --停源端所有进程 stop * stop mgr 2.--目标端进程 info REP_K4 showch 看RBA是否变化，
原创
2022-07-13 16:32:16
411阅读
OGG整合模式抽取(downstream模式) 参考文档： https://docs.oracle.com/goldengate/1212/gg-winux/GIORA/ic_deploy.htm#GIORA473 https://docs.oracle.com/goldengate/1212/gg
转载
2021-04-19 17:59:00
854阅读
2评论
1.主要的子项目1）spring cloud config是配置管理工具，通过它可以把配置信息放到远程服务器中，从而集中管理集群配置。目前支持本地存储、git和subvesion三种存储方式。所有实例都可以通过config server来获取配置文件，每个服务实例相当于配置服务的客户端。2）spring cloud consul封装了consul。consul是HashiCorp公司用GO语言开发
转载
2024-09-14 08:40:10
39阅读
一、环境要求MySQL 企业版或者社区版OGG for MySQL 12.2.0.2OGG Application Adapter 12.2.0.1java 7(推荐JDK 1.8)二、安装步骤:(下面将介绍MySQL/OGG相关安装和配置过程，MySQL的安装将不做介绍，另外需要注意的是：MySQL/OGG相关参数配置以熟悉MySQL/OGG的运维人员配置为准，本示例只是提供一个可运行的样本)安
