文章目录一、MongoShake1.1 MongoShake简介1.2 应用场景1.3 基本特性二、方案2.1 多活方案2.2 容灾方案三、验证3.1 环境介绍3.2 功能验证3.2.1 多活验证3.2.2 容灾验证四、问题总结 一、MongoShake1.1 MongoShake简介 MongoShake是一个以go语言编写的通用的平台型服务，通过读取MongoDB集群的Oplog日志，对M
转载
2023-09-20 07:05:26
628阅读
系统环境在阿里云ECS自建mysql5.6.46+ogg19.1同步架构问题描述使用ogg遇到几下两类问题一、安装问题 1、ogg19.1正常情况下解压到某个目录，进行create subdirs即可，但是更改安装目录或删除原目录并重新安装到其他目录，执行 ./ggsci报错二、使用问题 使用ogg抽取、投递、复制遇到以下几个问题 1、通过ogg无法从mysql中抽取变化的数据（insert,up
OGG原理OGG是一种基于日志的结构化数据复制软件，通过捕获源数据库online redo log (在线重做日志)或archive log(归档日志)获得数据变化，形成tail（队列文件 ）,再将这些tail通过网络协议，传输到目标数据库，目标端通过解析，插入至目标端数据库，从而实现源端与目标端数据同步。OGG的特性：1.对生产系统影响小：实时读取交易日志，以低资源占用实现大交易量数据实时复制；
一、摘要1.OGG是数据同步软件，或者说是逻辑复制软件，其竞争对手有IBM CDC，DELL shareplex，DSG，DDS等等。2.OGG软件是需要安装在操作系统上的，Oracle DB软件没有自带OGG软件（至少目前是这样的）3.OGG软件有三大进程（说四大进程也行）：三大进程：源头抽取进程、源头传输进程、目的端应用进程（即：复制进程）四大进程：源头抽取进程、源头传输进程、目的端serve
背景 公司项目的数据想同步到局域网做数据分析，加上部署了主从数据进行读写分离！之前公司的DBA部署了主从分离（发布订阅的方案），加上做了容灾方案！但是容灾的数据不能访问数据！这就比较尴尬了！如果数据要存储多份的时候，为了保证数据的准备性，我们需要保证数据更新的同步性想要实现的架构如图:数据同步方式 1.全量同步：就是每天定时（避开业务高峰期）或者周期性全部把数据从一个地方拷贝到另一地方。（全部的数
[toc]一、环境规划实现目标：配置OGG，实现从Oracle到kafka数据增量同步。同步消息格式为json。主机规划：身份主机名版本IPOGG版本源端orcldbRelease 11.2.0.4.0172.16.10.152OGG-12.3.0.1.4目标端kafkakafka_2.11-1.1.1172.16.100.241OGG_BigData_Linux_x64_12.3.2.1.1二、
概念：OGG属于逻辑复制，实现原理是通过抽取源端的redolog 或者 archive log ，然后通过TCP/IP投递到目标端，最后解析还原应用到目标端，使目标端实现同源端数据同步。 1.Manager进程（管理进程） Manager是OGG的控制进程，它运行在源端和目标端，它主要有以下几个方面的 作用：启动、
肖杰 数据和云墨墨导读：本文来自墨天轮用户 肖杰 的投稿，介绍用OGG实现Oracle到Kafka到Greenplum的增量数据同步的全过程。墨天轮主页：https://www.modb.pro/u/6722背景在大数据库时代，数据经常需要在不同的数据库之间流动、整合，并要求具有一定的实时性，传统的通过脚本定时，批量同步的方式根本无法满足需求。本文基于Oracle OGG，Kafka消息队列实现O
转载
2021-06-04 00:13:25
752阅读
利用ogg实现oracle到kafka的增量数据实时同步 董可伦 2018-05-25 09:50:49 44176 收藏 96分类专栏： kafka oracle ogg 文章标签： kafka oracle ogg版权 kafka同时被 3 个专栏收录8 篇文章0 订阅订阅专栏 oracle7 ...
转载
2021-10-19 00:51:00
395阅读
2评论
利用ogg实现oracle到kafka的增量数据实时同步 前言 https://dongkelun.com/2018/05/23/oggOracle2Kafka/ ogg即Oracle GoldenGate是Oracle的同步工具，本文讲如何配置ogg以实现Oracle数据库增量数据实时同步到kaf
转载
2021-05-20 16:54:00
530阅读
2评论
OGG安裝部署 文章目录OGG安裝部署1、环境准备2、下载3、安裝部署3.1 源端3.1.1、解压安装3.1.2、 配置OGG环境变量3.2 目标端3.2.1、解压4、oracle打开归档模式4.1、 Oracle打开日志相关4.2、 oracle创建复制用户5、OGG初始化5.1、Oracle创建测试表5.2、OGG源端配置5.2.1、配置OGG的全局变量5.2.2、 配置管理器mgr5.2.3
-- 数据同步 1 全量数据同步 1.1 不带参数的实现方式 每次更新目标表的时候，先把目标表中的数据清空，然后用源表的数据插入目标表中 。 1.2 通过参数 ，会计期（一个会计期 = 1个月 ，格式为 年-月 ）更新目标表的部分数据 ，对会计期内的数据 进行全量的更新 每次更新，只更新目标表最近一个会计期的数据 ， 更新之前先根据 参数 删除
原创
2021-05-10 06:23:38
3071阅读
--ogg同步基于表，会忽略目标端view的trigger和view对应的表的dbms_scheduler,若目标端view的关联trigger中有向其他非此视图关联的表操作则会忽略，所以只能同步到view而不能同步到表中--配置view同步时只需要配view对应的表--表名test.dep_ogg改变，不需要重新对标add trandata2.1创建ogg操作系统用户：useradd -u 10
双向同步需要考虑的是怎么解决循环复制，以及同时更新一张表以谁为基准。配置过程就不写了，大致和oracle到mysql的单向+mysql到oracle的单向差不多。需要注意的有如下几点：1.oracle和mysql的2端，抽取(extract)和应用(replication)应该使用不同的用户2.为解决禁止循环复制，应该在ext进程配置3个参数，如下：oracle的extract：extract e
转载
2023-06-30 17:30:16
298阅读
MySQL同步到ogg的流程如下：
| 步骤 | 操作 |
| ------ | ------ |
| 步骤一 | 配置MySQL主库 |
| 步骤二 | 安装ogg软件 |
| 步骤三 | 配置ogg参数 |
| 步骤四 | 创建ggsci脚本 |
| 步骤五 | 启动ogg进程 |
| 步骤六 | 配置MySQL从库 |
| 步骤七 | 验证同步情况 |
下面是每个步骤需要做的具体操作和代
--2023/12/09--源端 sb02mes 目标端：centradb待同步表table CAMSTAR_PRD01.AHNEWPNLSECONDBAKINGHISTORY;
table CAMSTAR_PRD01.AHMODELINGSETTING;
1.登录，并查看是否添加表级附加日志
cd $OGG_HOME
ggsci
GGSCI (szpmsb02cimrac-db0
ogg增量采集数据入库主要包含如下几部分内容：1,ogg数据入库前言;2,数据采集流程;3,目录与数据文件;4，ogg集成java插件;5，数据同步操作;6,后台程序合并数据；7，用SPL数据入库；8，最后总结。
原创
2020-05-18 08:35:19
866阅读
简述MongoDB 是一种广泛使用的文档型数据库，对于 schema 弱要求、可扩展性强让其在很多场景普遍适用。本文主要介绍如何使用 CloudCanal 快速构建一条稳定高效运行的 MongoDB 到 MongoDB 数据同步链路，示例中 MongoDB 均为 ReplicationSet (副本集) 。技术点MongoDB 源端增量技术MongoDB 增量数据可以通过 local 库的 opl
Hadoop2.0总结 一、本质Hadoop2.0，相比于Hadoop1.0，最明显的区别是YARN系统和HDFS2.0的新特性 二、Yarn解决了什么问题1. 降低运维成本和数据共享成本2. 减小了 JobTracker（也就是现在的 RM）的负担3. 使得多种计算框架可以运行在一个集群中4. 资源表示成内存量，解决了之前的
转载
2023-07-24 13:51:11
76阅读
Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，这里以此案例做以介绍。Oracle作为商业化的数据库解决方案，自发性的获取数据库事务日志等比较困难，故选择官方提供的同步工具OGG（Oracle GoldenGate）来解决。安装与基本配置环境说明软件配置角色数据存储服务及版本OGG版本IP源服务器Ora
转载
2018-10-26 14:10:26
2717阅读
