OGG原理OGG是一种基于日志的结构化数据复制软件,通过捕获源数据库online redo log (在线重做日志)或archive log(归档日志)获得数据变化,形成tail(队列文件 ),再将这些tail通过网络协议,传输到目标数据库,目标端通过解析,插入至目标端数据库,从而实现源端与目标端数据同步OGG的特性:1.对生产系统影响小:实时读取交易日志,以低资源占用实现大交易量数据实时复制;
OGG同步oracle12c数据到KAFKA
原创 2018-03-19 11:09:59
10000+阅读
1点赞
1评论
系统环境在阿里云ECS自建mysql5.6.46+ogg19.1同步架构问题描述使用ogg遇到几下两类问题一、安装问题 1、ogg19.1正常情况下解压到某个目录,进行create subdirs即可,但是更改安装目录或删除原目录并重新安装到其他目录,执行 ./ggsci报错二、使用问题 使用ogg抽取、投递、复制遇到以下几个问题 1、通过ogg无法从mysql中抽取变化的数据(insert,up
一、摘要1.OGG数据同步软件,或者说是逻辑复制软件,其竞争对手有IBM CDC,DELL shareplex,DSG,DDS等等。2.OGG软件是需要安装在操作系统上的,Oracle DB软件没有自带OGG软件(至少目前是这样的)3.OGG软件有三大进程(说四大进程也行):三大进程:源头抽取进程、源头传输进程、目的端应用进程(即:复制进程)四大进程:源头抽取进程、源头传输进程、目的端serve
概念:OGG属于逻辑复制,实现原理是通过抽取源端的redolog 或者 archive log ,然后通过TCP/IP投递到目标端,最后解析还原应用到目标端,使目标端实现同源端数据同步。    1.Manager进程(管理进程)     Manager是OGG的控制进程,它运行在源端和目标端,它主要有以下几个方面的 作用:启动、
变更场景 已同步的表结构变更,包括添加字段,删除字段,修改字段类型和字段长度 新增同步表 变更流程 一、已同步表结构变更检查 ogg 目标端和源端的同步,确定没有延迟 进入目标端 ogg 安装目录,运行 ggsci 命令进入命令操作 Info all 查看所有的复制进程,看有没有时间延迟目标端停止复制进程 进入 ogg 安装目录,运行 ggsci 命令进入命令操作 Info all 查看所有的进程
转载 2022-01-26 11:47:01
840阅读
变更场景已同步的表结构变更,包括添加字段,删除字段,修改字段类型和字段长度新增同步表变更流程一、已同步表结构变更检查 ogg 目标端和源端的同步,确定没有延迟进入目标端 ogg 安装目录,运行 ggsci 命令进入命令操作Info all 查看所有的复制进程,看有没有时间延迟目标端停止复制进程进入 ogg 安装目录,运行 ggsci 命令进入命令操作Info all 查看所有的进程Stop extract xx(x xxx 是进程名),停止复制进程在目标端数据库中修改表结
转载 2021-05-12 12:16:17
1632阅读
01、源库安装ogg       见OGG 安装 博客02、源库配置oracle环境环境说明:主机角色Ogg版本192.168.192.26源库191004_fbo_ggs_Linux_x64_shiphome.zip192.168.193.221目标库中间件KafkaOGG_BigData_Linux_x64_19.1.0.0.5.zip     01)、创建ogg同步用户SQL>crea
原创 2022-01-13 10:18:57
740阅读
承接上文 01、目标库配置安装ogg 解压 191004_fbo_ggs_Windows_x64_shiphome.zip 然后点击setup.exe 操作步骤见ogg 安装文档,linux/windwos安装选项一致 02、源库配置抽取进程文件 GGSCI (hso32-db-test as ogg@hso32) 86> edit param EXTORA EXTRACT extora
原创 2022-01-11 10:28:50
164阅读
原文链接:http://click.aliyun.com/m/13943/本文用到的阿里云数加-大数据计算服务MaxCompute产品地址:https://www.aliyun.com/product/odps一、背景介绍随着数据规模的不断扩大,传统的RDBMS难以满足OLAP的需求,本文将介绍如何将Oracle数据实时同步到阿里云的大数据处理平台当中,并利用大数据工具对数据进行分析。OGG(O
转载 2017-03-15 10:38:12
1394阅读
说明:这篇文章将介绍如何配置oracle到mysql的ogg同步 源端:ip-192.168.56.11 数据库类型-oracle 11.2.0.4目标端:ip-192.168.56.71 数据库类型-mysql 5.7.25 1. 解压并准备目录 (源端)su - oraclemkdir -p /
原创 2022-01-13 11:03:12
1048阅读
配置数据库(此步骤需要在两台服务器上都执行)启动归档模式SQL> conn /as sysdba;SQL> archive log list; Database log mode No Archive ModeAutomatic archival DisabledArchive destination USE_DB_RECOVERY_F
转载 2022-04-22 11:55:46
3716阅读
在Kubernetes(K8S)中实现MySQL数据同步是一个比较常见的需求,为了能够实现这个目标,我们可以使用Oracle GoldenGate(OGG)进行数据同步OGG是一个非常强大的数据同步工具,可以实现高性能、实时的数据复制和同步。在本文中,我们将以一个经验丰富的开发者的角度来教你如何在K8S中实现MySQL数据同步。 **实现MySQL数据同步的流程** 首先,让我们来看一下在K
原创 3月前
76阅读
# OGG 同步数据到 MySQL ## 简介 Oracle GoldenGate(OGG)是一种实时数据复制和数据集成解决方案,可以将数据从一个数据库复制到另一个数据库。本文将介绍如何使用 OGG数据Oracle 数据同步到 MySQL 数据库。我们将使用 OGG 的抽取(Extract)和传输(Replicat)进程来实现这一目标。 ## 准备工作 在开始之前,需要确保以下几
原创 2023-07-30 15:30:04
232阅读
本次迁移背景:机房要搬迁,新搭建了一套oracle数据库,计划不停机迁移,将源端旧库的数据迁移到目标端新库里。原本想用RMAN方式迁移,但是由于旧库是AIX系统,新库是linux系统,用RMAN迁移会有问题,于是考虑用数据泵+ogg的方式实现不停机迁移。这里计划按用户进行导出,给大用户单独配置一个ogg进程,将多个小用户弄一批ogg进程。这里以同步其中一个用户AMI为例。/*有时可能需要配置同步
配置ogg同步oracle 11g数据oracle 19c
原创 2022-12-01 19:27:44
1584阅读
1场景:ORACLE----PG源端有一次做UPDATE操作,而如果刚好这条记录不在目标端对应表的话(情况多种:被删除,未同步等等),假如A表有三个字段:aa,bb,ccSQL:updateA表只修改aa字段,而bb,cc字段都有非空约束,那么这种情况R进程的报错信息,只有aa字段才会有值,而bb,cc字段都被置为null,这时候就会报违反非空约束解决办法:dbloginaddtrandataxx
原创 2020-10-31 11:23:39
1252阅读
详细阐述了使用OGG传统模式将Oracle数据全量同步到kafka
原创 精选 8月前
266阅读
今天通过最简单的一个例子,给大家讲解下 goldengate 实现两台Oracle数据库的同步。内容如下:1.配置数据库信息。2.安装golden gate.3.配置golden gate.4.测试同步情况首先我们看看实验环境 环境 源端是一个单实例Oracle Enterprise 5 + ORA
转载 2017-04-21 11:01:00
505阅读
一客户反馈其DB为12.2.0.1,OGG版本为19.1.0.0的数据出现同步异常,就是有部分表出现源端与目标端的数据不一致的现象。
原创 2021-12-21 17:57:25
2502阅读
  • 1
  • 2
  • 3
  • 4
  • 5