一、摘要1.OGG是数据同步软件，或者说是逻辑复制软件，其竞争对手有IBM CDC，DELL shareplex，DSG，DDS等等。2.OGG软件是需要安装在操作系统上的，Oracle DB软件没有自带OGG软件（至少目前是这样的）3.OGG软件有三大进程（说四大进程也行）：三大进程：源头抽取进程、源头传输进程、目的端应用进程（即：复制进程）四大进程：源头抽取进程、源头传输进程、目的端serve
转载
2024-05-02 22:49:20
45阅读
概念：OGG属于逻辑复制，实现原理是通过抽取源端的redolog 或者 archive log ，然后通过TCP/IP投递到目标端，最后解析还原应用到目标端，使目标端实现同源端数据同步。 1.Manager进程（管理进程） Manager是OGG的控制进程，它运行在源端和目标端，它主要有以下几个方面的 作用：启动、
转载
2024-06-26 15:30:15
99阅读
OGG软件是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。OGG可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾等多个场景下应用。OGG的数据集成技术
OGG同步oracle12c数据到KAFKA
原创
2018-03-19 11:09:59
10000+阅读
点赞
1评论
一、背景介绍随着数据规模的不断扩大，传统的RDBMS难以满足OLAP的需求，本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中，并利用大数据工具对数据进行分析。OGG（Oracle GoldenGate）是一个基于日志的结构化数据备份工具，一般用于Oracle数据库之间的主从备份以及Oracle数据库到其他数据库（DB2, MySQL等）的同步。下面是Oracle官方提供的一个
环境：服务器一(RAC实例一的任意一个节点)IP地址： 10.19.100.91Oracle数据库版本 11.2.0.4Oracle数据库实例名 aegisdbOracle数据库端口 &n
之前我已经安装好了目标端的Oracle GoldenGate for Big Data。可以看这篇博客：Oracle Golden Gate(OGG)学习——目标端安装Big DataLinux系统中先进入到OGG安装的目录，使用 ggsci 打开控制程序：1、配置mgr进程GGSCI > edit params mgr目标端mgr进程配置信息：PORT 7809
DYNAMICPORTLI
转载
2024-06-24 17:27:13
230阅读
博文结构图如下： 一、环境描述以及注意事项 1.1 环境简介 IP系统Oracle版本OGG版本源端172.16.10.16/36RHEL6.5oracle1120412.1目标端172.16.10.154RHEL6.5oracle1120412.1同步用户为：hr。 1.2 OGG网络带宽规划 GoldenGate数据同步所
OGG 从Oracle备库同步数据至kafkaTable of Contents1. 目的2. 环境及规划3. 安装配置JDK3.1. 安装jdk3.2. 配置环境变量4. 安装Dataguard4.1. 安装备库软件4.2. 配置dataguard4.2.1. 主库4.2.2. 备库4.3. 完成操作4.4. 启动实时复制5. zookeeper集群5.1.
详细阐述了使用OGG传统模式将Oracle数据全量同步到kafka
原创
精选
2023-12-06 09:49:24
350阅读
系统环境在阿里云ECS自建mysql5.6.46+ogg19.1同步架构问题描述使用ogg遇到几下两类问题一、安装问题 1、ogg19.1正常情况下解压到某个目录，进行create subdirs即可，但是更改安装目录或删除原目录并重新安装到其他目录，执行 ./ggsci报错二、使用问题 使用ogg抽取、投递、复制遇到以下几个问题 1、通过ogg无法从mysql中抽取变化的数据（insert,up
转载
2024-01-25 21:58:03
112阅读
ORACLE OGG同步到KAFKA一、介绍 Kafka是一种高效的消息队列实现，通过订阅kafka的消息队列，下游系统可以实时获取在线Oracle系统的数据变更情况，实现业务系统ogg同步全量数据方式： ①通过数据泵方式基于SCN导出并导入到目标端，此方式用于Oracle 到Oracle的ogg同步环境中。 ②通过ogg本身的初始化方式，初始化全量数据到目标端，此方式通用于所有环境，但是速度相对
转载
2024-04-01 10:52:11
129阅读
MySQL同步到ogg的流程如下：
| 步骤 | 操作 |
| ------ | ------ |
| 步骤一 | 配置MySQL主库 |
| 步骤二 | 安装ogg软件 |
| 步骤三 | 配置ogg参数 |
| 步骤四 | 创建ggsci脚本 |
| 步骤五 | 启动ogg进程 |
| 步骤六 | 配置MySQL从库 |
| 步骤七 | 验证同步情况 |
下面是每个步骤需要做的具体操作和代
原创
2023-12-08 04:06:26
141阅读
接前序，本次场景中有索引，但是OGG复制进程使用了低效率的索引？ 类似SQL使用低效索引，如何让Oracle使用好的索引，从而加快复制进程的效率呢？疑问？ Oracle为什么有好的索引，但是还是选择不好的索引，从而造成SQL效率低下，OGG复制进程缓慢呢？本次DB版本11g,都是CBO，基于成本进行计算。1.重新收集统计信息，让Oracle自动选择好的索引，走好的执行计划，从而让OGG
一、环境要求MySQL 企业版或者社区版OGG for MySQL 12.2.0.2OGG Application Adapter 12.2.0.1java 7(推荐JDK 1.8)二、安装步骤:(下面将介绍MySQL/OGG相关安装和配置过程，MySQL的安装将不做介绍，另外需要注意的是：MySQL/OGG相关参数配置以熟悉MySQL/OGG的运维人员配置为准，本示例只是提供一个可运行的样本)安
oracle DDL 同步： -> 不支持及有限支持 。 oracle 数据库保留的schemas， goldengate是不支持复制的。
-> goldengate 不支持超过2M 长度的DDL语句。
->goldengate 只支持单项的DDL 复制，不支持双向DDL复制。
概述前面两部分已经分享了怎么去安装ogg和配置源端数据库和进程组，接下来主要讲怎么去配置目的端数据库和进程组的一些参数。一、配置目标数据库【含源端业务新增数据模拟】1、数据库初始化(可忽略，看大家需要)----源端
imp sender/oracle file=/opt/nwpp.dmp log=/opt/nwpp.log fromuser=NWPP touser=sender ignore=y
1.--源端 --停源端所有进程 stop * stop mgr 2.--目标端进程 info REP_K4 showch 看RBA是否变化，
原创
2022-07-13 16:32:16
411阅读
远程同步kafka
请衔接上文查看
这个就是直接远程同步数据库，128 已经是使用中的kafka，我们直接通过ogg远程同步，这种情况 128库不需要安装任何ogg相关
01、配置远程同步配置文件replicat
01）、编辑进程配置文件
GSCI (RHEL44223) 9> edit param rekafka2
REPLICAT rekafka2
source
原创
2022-01-11 10:28:49
574阅读
# OGG 同步数据到 MySQL
## 简介
Oracle GoldenGate（OGG）是一种实时数据复制和数据集成解决方案，可以将数据从一个数据库复制到另一个数据库。本文将介绍如何使用 OGG 将数据从 Oracle 数据库同步到 MySQL 数据库。我们将使用 OGG 的抽取（Extract）和传输（Replicat）进程来实现这一目标。
## 准备工作
在开始之前，需要确保以下几
原创
2023-07-30 15:30:04
279阅读
