netsman1030的博客_OGG,Prometheus,Kubesphere

OGG维护优化脚本（二十五）-OGG状态监控系统--HTML实现

部分html 范例主要用到了嵌套表格等简单的语法<!DOCTYPE HTML> <html> <h1 align="center">goldengate监控系统</h1> <head> <style type="text/css"> p { border:red solid

ORACLE

GOLDENGATE

OGG

原创 2017-06-19 17:49:29 1559 阅读

OGG维护优化脚本（二十四）-OGG状态监控系统--后台脚本

这个简易监控系统具体是由html实现的后台没有数据库，只有从各台机器收集并上传过来的html文件通过定时shell脚本整理并分类到各个目录，然后通过apache被网页调用具体更新频率取决于各数据同步服务器的定时任务运行频率OGG进程状态整理脚本这个脚本用于整理进程信息上传脚本收集到的文件，将其合并为html文件pcsindex.sh#!/bin/bash cd /root/gg/ggs

ORACLE

GOLDENGATE

OGG

原创 2017-06-19 17:43:57 4193 阅读

OGG维护优化脚本（二十三）-OGG状态监控系统--界面介绍

原本只是想做个简单的界面简单显示之前信息收集类脚本收集的goldengate的运行状况。后来感觉不错就慢慢的加了一些东西具体界面如下分为配置信息及状态，错误日志信息，replicat写入错误日志记录，以及附加日志异常记录配置信息状态显示每个链路的具体配置信息以及进程状态，正常状态下以蓝色NORMAL关键字显示当有延时，进程中断等情况时，红色ALERT关键字显示异常状态日志等监控界面会统计error

ORACLE

脚本

shell

原创 2017-06-19 17:03:42 3342 阅读 3评论

OGG维护优化脚本（二十二）-部署准备篇--脚本部署准备

很抱歉，脚本部署准备放在后面来讲以下内容必须彻底配置完毕前面讲的所有脚本才会成功生效1.环境包安装因为脚本通过shell以及perl实现。系统必须支持bshell才能满足运行环境部分AIX服务器因为缺乏bshell需要专门安装rpm包所以需要安装以下两个安装包gettext-0.17-8.aix6.1.ppc.rpmbash-4.2-9.aix6.1.ppc.rpm 而上传脚本是通过ex

ORACLE

脚本

shell

原创 2017-06-19 16:04:03 2601 阅读 1点赞 2收藏

OGG运维优化脚本（二十）-进程操作类--强制时间点调整

文件名: fullrestart.sh路径 $HOME/ggscript/ggoperat这个脚本属于为了应付某台非常头疼的业务数据库服务器OGG频繁延时的问题而特别写的因为这台数据库每天晚上会调用大量的job 以及并发操作，因此导致OGG 数据抽取进程频繁的延时必须强制杀除长事务才能正常恢复。否则延时会一直拖到归档文件被自动备份走。导致进程异常中断为止。跟业务沟通数据库调优，同时联系o

ORACLE

GOLDENGATE

OGG

原创 2017-06-19 13:24:41 648 阅读

OGG运维优化脚本（十九）-进程操作类--辅助操作

文件:info.sh start.sh stop.sh路径 $HOME/ggscript/ggoperat因为编写了太多脚本后有时候为了查看OGG运行状态不得不频繁的在GGSCI和系统界面切换，所以为了便捷自己写了几个比较简单的脚本,配合alias别名，模拟ggsci内的info start stop功能。同时这几个脚本也可以被其他脚本调用用于操作或者获取进程状态

ORACLE

脚本

shell

数据同步

GOLDENGATE

OGG

原创 2017-06-19 13:18:57 1443 阅读 1评论

OGG运维优化脚本（十八）-进程操作类--全进程启停

文件: allstop.sh allstart.sh路径 $HOME/ggscript/ggoperatl运维OGG过程中，曾经遇到非数据同步运维同事需要配合数据库DBA维护启停所有数据同步链路的情况因此特别编写了这两套全进程启停脚本，一套用于全进程停止，会调用长事务跳过脚本，跳过长事务，以及停止进程和MGR监控进程。一套用于全部OGG进程启动。allstop.sh#!/bin/bash

ORACLE

GOLDENGATE

OGG

原创 2017-06-19 13:13:13 1948 阅读

OGG运维优化脚本（十七）-信息同步类--配置备份

文件名:ggbackup.sh路径$HOME/ggscript/ggbackup因为在2016年下半年我们的一个数据同步服务器因为存储损坏导致OGG配置文件丢失，被迫重新部署的情况。因此特别针对该情况编写了自动备份OGG进程配置信息脚本。#!/bin/bash cd $HOME/ggscript/ggbackup dir=$PWD cd $HOME if [&nb

ORACLE

GOLDENGATE

OGG

原创 2017-06-19 13:06:06 873 阅读

OGG运维优化脚本（十六）-信息同步类--附加日志检查

文件名 checktrandata.sh路径$HOME/ggscript/ggtrandata该脚本的作用，是通过ogg自带的 infotrandata指令，验证EXTRACT进程内所配置表的附加日志状态，仅针对同步oracle数据库的OGG为了避免大批量查询影响数据库性能，如果进程内配置表信息过多。查询速度会比较慢，建议通过计划任务配置在凌晨自动运行。#!/bin/bash cd $

ORACLE

GOLDENGATE

OGG

原创 2017-06-19 13:01:29 1537 阅读

OGG运维优化脚本（十四）-信息同步类--定义文件自动下发

文件: resend.sh路径:$HOME/ggscript/ggdef功能：该脚本为用于应对目标端因为定义文件失效导致的进程异常中断所设计因源端业务经常未通知目标端以及系统组自行修改表结构因此设计该脚本自动生成定义文件，并发送至指定目标机器的相应路径，以用于目标机器REPLICATE进程的正常读取日志路径:$HOME/gglog/ggupload#!/bin/bash cd $HOME

ORACLE

GOLDENGATE

OGG

原创 2017-06-19 09:38:13 1148 阅读

OGG运维优化脚本（十五）-信息同步类--错误日志同步

文件：logtitle.sh log.sh路径:$HOME/ggscript/gginfo该脚本主要用于每小时检查ggserr.log内包含error关键字的信息（具体可调整）然后拼接成html格式文件发送给监控网站该脚本需要配合crontab计划任务使用logtile.sh 每月月初执行一次，生成文件头#!/bin/bash cd $HOME if [

ORACLE

GOLDENGATE

OGG

原创 2017-06-19 09:37:45 1169 阅读

OGG运维优化脚本（十三）-信息同步类--进程信息上传

文件：pcsinfoupload.sh路径:$HOME/ggscript/ggupload功能:用于查询所有进程的部署时填写好的详细配置注释信息，进程状态，生成以HTML格式的文件，并通过上传脚本定时上传至某台目标机器,通过其他脚本整合形成网页以网页信息浏览所有进程的监控信息日志路径:$HOME/gglog/ggupload#!/bin/bash cd #HOME if [&n

ORACLE

GOLDENGATE

OGG

原创 2017-06-19 03:57:21 865 阅读

OGG运维优化脚本（十二）-信息同步类--信息上传

文件: upload.sh路径:$HOME/ggscript/ggupload功能：该脚本不会直接使用，为满足其他脚本进行信息上传而设计，在脚本内直接调用上传相应的文件信息他会读取系统信息配置文件sysinfo内的系统配置信息范例[detest#]Ip-MTMyLjEyMS4xMDEuODYKUserName-Z2dzCg==PassWord-Z2dzxxxxxxPort-MjIKpath-L2R

OG

原创 2017-06-19 03:53:17 628 阅读

OGG运维优化脚本（十一）-查询维护类--操作选择

文件:ggedit路径:$HOME/ggscript功能:该脚本用于选择使用其他脚本通过alias别名初始化入.profile和.bash_profile文件，以edit指令方式使用#!/bin/bash echo "Select an action you want to perform" select ch&nb

ORACLE

GOLDENGATE

OGG

原创 2017-06-19 03:50:35 1237 阅读

OGG运维优化脚本（十）-查询维护类--进程详细信息查询

文件：processinfo.sh路径:$HOME/ggscript/ggupload功能：该脚本为满足维护配置时检查所有goldengate进程的详细源端目标端，定义文件等信息而设计如果未按照脚本部署准备进行内容注释，输出结果会为空如果有其他注释信息，输出结果会被干扰#!/bin/bash export PATH="/usr/local/sbin:/usr/local/bin:/sbi

ORACLE

GOLDENGATE

OGG

原创 2017-06-19 03:47:56 1010 阅读

OGG运维优化脚本（九）-查询维护类--进程重复表检查

路径:$HOME/ggscript/ggrepeat功能：该脚本为处理目标端因为源端重复配置源端表，导致目标端数据重复的问题而设计。可以针对进程检查重复配置的表名，并罗列具体信息和所在文件行数可以配合note快速注释脚本进行源端重复表清理操作#!/bin/bash echo "+-------------------------------------------------------

ORACLE

GOLDENGATE

OGG

原创 2017-06-19 03:42:56 919 阅读

OGG运维优化脚本（八）- 查询维护类--批量查询

文件名：search.sh路径：$HOME/ggscript/ggsearch功能：该脚本用于满足检查goldengate进程具体配置情况的需求而设计通过edit脚本选择调用#!/bin/bash echo "This script is used to search the specified table!

ORACLE

GOLDENGATE

OGG

原创 2017-06-19 03:39:33 1169 阅读

OGG运维优化脚本（七）-信息修改类--快速注释

文件名:note.sh路径:$HOME/ggscript/ggnote功能：该脚本用于注释指定行的配置表，配合重复值检查脚本repeat.sh使用通过alias初始化入.profile或.bash_profile文件，通过指令note使用日志路径：$HOME/gglog/ggnote#!/bin/bash #参数验证 #格式为进程行数 if [ $#&

ORACLE

GOLDENGATE

OGG

原创 2017-06-19 03:34:17 814 阅读

OGG运维优化脚本（六）-信息修改类--批量取消注释

文件名：recomment.sh路径: $HOME/ggscript/ggcomment功能：该脚本用于批量取消注释，配合批量注释脚本使用，基本功能相反，操作步骤完全一致。通过edit脚本选择使用日志路径:$HOME/gglog/ggcomment#!/bin/bash backuptime=`date +%Y%m%d-%H%M` echo "This script&

ORACLE

GOLDENGATE

OGG

原创 2017-06-19 03:31:11 649 阅读

OGG运维优化脚本（五）-信息修改类--批量注释

文件名：comment.sh路径：$HOME/ggscript/ggcomment功能：该脚本基于数据库每月大批量注释源端表进行数据清理，要求数据同步配合注释大量配置表而设计通过edit脚本选择并调用日志路径:$HOME/gglog/ggcomment#!/bin/bash backuptime=`date +%Y%m%d-%H%M` echo "This scrip

ORACLE

GOLDENGATE

OGG

原创 2017-06-19 03:28:50 2137 阅读

OGG运维优化脚本（四）-信息修改类--长事务跳过

文件名: skiptrans.sh skip.sh所在路径:$HOME/ggscript/ggtrandata功能：该脚本用于重启抽取进程时跳过长事务，可自动识别1小时以上的长事务并批量跳过，skiptrans.sh通过edit脚本选择调用，skip.sh用于在其他脚本中调用用，例如allstop.sh全goldengate进程停止脚本Ps:目前该脚本目前仅适用于AIX和LINUX系统

ORACLE

GOLDENGATE

OGG

原创 2017-06-19 03:26:10 1385 阅读

OGG维护优化脚本（一）-需求分析篇

这套维护优化脚本，是我在业余时间编写的，专门用于针对goldengate数据同步工具的脚本主要原因还是本人有点懒不喜欢繁琐的手动操作。所以借助shell脚本来减低自己的工作量部分参考了一些网络大牛的shell脚本设计因为离职的缘故估计以后职业生涯中可能不会用到，因此将该脚本的设计方案以及具体内容共享出来给各位网友学习和参考因为能力问题部分功能可能写的比较粗糙，希望各位别见怪。欢迎各位提出自己意见。

ORACLE

GOLDENGATE

OGG

原创 2017-06-19 03:21:44 3785 阅读 1点赞 1收藏 1评论

OGG运维优化脚本（三. 五）-信息修改类--附加日志增加

文件名: addtrandata.sh所在路径:$HOME/ggscript/gginsert功能：用于批量增加表附加日志，属于从加表脚本中独立出来的功能，用于应对表附加日志丢失以及加表附加日志增加失败的情况#!/bin/bash echo "This script will add trandata( by RenYi)"

ORACLE

GOLDENGATE

OGG

原创 2017-06-19 03:20:43 1595 阅读

OGG运维优化脚本（三）-信息修改类--快速加表

文件名:add.sh所在路径:$HOME/ggadd功能:批量加表脚本的优化版，用于针对少量加表需求，包括重复配置表过滤功能以及附加日志自动增加功能该脚本通过alias方式写入账户系统配置文件.profile 和.bash_profile通过命令使用日志路径：$HOME/ggscript/ggadd具体脚本内容#!/bin/bash #条件判断，确定调用时参数是否完整 #格式必须为

ORACLE

GOLDENGATE

OGG

原创 2017-06-19 03:18:25 1065 阅读

OGG运维优化脚本（二）-信息修改类--批量加表

现在开始介绍脚本，所有的脚本必须在prm配置文件添加注释后才能成功使用详细请参考脚本部署准备实际的运维过程中，我们的OGG程序都统一部署在$home/ggserver路径下，批量加表文件名: insert.sh脚本所在路径:$HOME/ggscript/gginsert功能:为满足应用时常提出的大批量增加同步表需求用于批量加表，包括重复配置表过滤功能以及附加日志自动增加功能该脚本通过

OGG

原创 2017-05-12 11:27:55 1104 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

netsman