神谕03的博客_python,Oracle,Hadoop,Oracle,Linux,PostgreSQL

gp2mysqlutf8非utf8报错处理

背景：从gp推送数据到mysql，报非utf-8字符无法推送过去(其实是mysql不支持超三位字节的utf8字符导致的)问题解析：经查看，mysql的字符集为 utf8_general_ci 而非utf8mb4。因为utf8_general_ci支持的uft8最为3位字节，一旦超过了3位字节就认为非utf8；而utf8mb4支持4位utf8字符。解决方案：①治本：MySQL 5.5 及后续版本，添

mysql

推送

字符替换

utf8

原创点赞0 阅读95 收藏0 评论0 2022-04-14

SVN清理失败原因以及恢复操作

SVN清理失败原因以及恢复操作我们很多时候使用svn的时候会遇到svn冲突，这时候我们就需要清理文件，但是清理的时候有可能会乱码失败，如下图：分析原因：极有可能是我们打开了svn某个文件，没有保存，然后清理的时候就失败了，这个首先要检查处理方法： 1.在本地svn根目录下，找到隐藏文件夹 .svn 中的 db 文件，复制路径 2.打开 Navigate premium ，（或者使用其他

svn

清理失败

恢复

work_queue

原创点赞0 阅读1506 收藏0 评论0 2021-06-23

Kettle连接Oracle资源库失败原因

背景：我下载了kettle3.2,需要连接资源库，我搭建了oracle 11g,然后在本机能连通。然后我配置资源库的时候，特意加了jdbc.jar到kettle的lib目录，因为不太懂，所以就随便找了个ojdbc14.jar（PS:版本越高应该会有向下兼容性吧\(^o^)/）紧接着我连接的时候一直报错····· 我试了很多，换了sid，数据库名，全局域名，然后又尝试了换其

kettle

oracle

资源库

连接失败

jdbc

原创点赞0 阅读543 收藏0 评论0 2021-06-23

Flume组件简介

Flume组件简介Flume组件介绍：FLume是通过agent(代理)为最小的独立运行单位,agent包括Source,Channel,SinkSource:1）NetCatSource使用TCP和UDP两种协议方式，使用方法基本相同，通过监听指定的IP和端口来传输数据，它会将监听到的每一行数据转化成一个Event写入到Channel中2）AvroSource（读音类似于[ævrə]）(http

Flume

source

channel

sink

拦截器

原创点赞1 阅读396 收藏0 评论0 2020-08-27

Kettle转换和作业解疑（干货）

kettle中转换和作业的执行顺序：1、一个作业内的转换，是顺序执行的。2、一个转换内的步骤是并行执行的。3、作业内不支持事务，转换内支持事务。根据业务需要，通常需要在转换内顺序执行，小技巧如下：1、执行SQL是优先于所有步骤。2、使用“阻塞数据直到步骤都完成”，确保其他数据步骤都完成再进行下一步骤。事务:1、设置转换只使用一个事务。转换设置-->夹项-->使用唯一连接。2、设置转换内

Kettle

转换

作业

解疑

阻塞数据直到步骤都完成

转载点赞0 阅读3020 收藏0 评论0 2019-12-12

Linux系统运行监控命令

作为Linux管理员，或者DBA，使系统的稳定运行是我们的使命。下面是转载的是一篇关于Linux的CPU,内存，IO等巡检命令。https://blog.csdn.net/qq_39591494/article/details/78418162

Linux

监控

IO

CPU

内存

转载点赞0 阅读1557 收藏0 评论0 2019-05-28

Kettle增量插入更新所有数据都拒绝情况处理

在一个Kettle中，我发现一个平时正常跑的转换，突然不正常了。他增量查询没问题，但是到插入更新的那一步，所有数据都拒绝，而且报错看不出什么。经过排查，所有的写的步骤都是正确的，但是就是不进库。后来，我把所有的步骤重新新建，然后就可以了！！！再后来，我又遇到这种情况，然后把增量查询的sql重新复制，粘贴进去，再保存一下，也正常进库了。可能是kettle识别有问题把？？

Kettle

插入更新

拒绝

oracle

原创点赞0 阅读4735 收藏0 评论0 2019-05-27

oracle修改MAX_STRING_SIZE，突然断电处理

事因：oracle12c因修改MAX_STRING_SIZE参数，没有正常重启数据库，突然断电后。启动这个实例就启动不了。报错如下：SQL>startupORACLEinstancestarted.TotalSystemGlobalArea1593835520bytesFixedSize2924880bytesVariableSize1023413936bytesDatabaseBuffer

oracle

MAX_STRING_SIZE

断电

linux

原创点赞0 阅读2875 收藏0 评论0 2019-05-22

网络排查常用命令

**网络排查常用命令**①：pingIP[查看网络的连通性]②：tracertIP[显示数据包达到目的地址所经过的路径]③：routeprint[查看路由表，以配置路由路径]④：arp[查看网络中其他主机的IP地址，常用arp-a]⑤：netstat[显示活动的TCP连接、计算机侦听的端口、以太网统计信息、IP路由表]①：pingIP[查看网络的连通性]②：tracerouteIP[显示数据包达到

网络排查

tracert

route

arp

原创点赞0 阅读2701 收藏0 评论0 2019-04-30

网络排查常用命令

**网络排查常用命令**①：pingIP[查看网络的连通性]②：tracertIP[显示数据包达到目的地址所经过的路径]③：routeprint[查看路由表，以配置路由路径]④：arp[查看网络中其他主机的IP地址，常用arp-a]⑤：netstat[显示活动的TCP连接、计算机侦听的端口、以太网统计信息、IP路由表]①：pingIP[查看网络的连通性]②：tracerouteIP[显示数据包达到

网络排查

tracert

route

arp

原创点赞0 阅读2372 收藏0 评论0 2019-04-30

在一次失败的 'Shutdown Immediate'之后，数据库job 不能运行

在一次失败的'ShutdownImmediate'之后，数据库job不能运行。参考原文：DatabaseJobsDoNotRunAfteraFailed'ShutdownImmediate'(DocID434690.1)适用于：OracleServer-EnterpriseEdition-Version9.2.0.1to10.2.0.1[Release9.2to10

Shutdown Immediate

job不能自动运行

转载点赞0 阅读2226 收藏0 评论0 2018-12-26

Oracle迁移到Postgresql的方法

Oracle迁移到Postgresql的方法一：用Oracle_fdw参考资料：https://www.jianshu.com/p/e0d11f57ab75http://francs3.blog.163.com/blog/static/405767272012652731317/二：用ora2gp：参考资料：https://www.jianshu.com/p/563000405ea1三：用EDBM

Oracle

迁移

Postgresql

原创点赞0 阅读7812 收藏0 评论0 2018-10-11

LInux6虚拟机安装GreenPlum

一、环境准备1、安装VMware软件，然后在VMware里安装三台Linux虚拟机(我使用的是redhat)2、设置虚拟机主机名ip内存硬盘mdw192.168.10.20500M8Gsdw1192.168.10.21500M8Gsdw2192.168.10.22500M8G3、下载数据库安装文件greenplum-db-4.2.2.4-build-1-CE-RHEL5-i386二、安装注：标示“

GreenPlum

安装

Linux

虚拟机

原创点赞0 阅读3877 收藏0 评论0 2018-10-09

oracle误删除数据文件在线恢复方法

oracle误删除数据文件在线恢复方法如果因为操作系统rm命令或者数据库语句误删除Oracle数据库的数据文件，**并且数据库未重启的话**，可以使用利用**文件描述符的方式**来进行恢复。一：①首先找到一个后台进程（如DBWR进程）：在操作系统的root用户执行：root@db1#ps-ef|grepdbwroot143489859010:15:50pts/30:00grepdbworacle7

恢复

数据文件

在线

BBED

原创点赞1 阅读5614 收藏0 评论0 2018-09-20

LOGMNR-日志分析的强大工具

Oracle数据库中，LGWR进程将数据库中进行的DML操作记录在日志中，oracle数据库提供了一个LOGMNR工具，容易实现对于日志的解析。找到redolog的文件：selectfromv$logwherestatus='CURRENT';/selectfromv$logfile;A.创建列表EXECUTEdbms_logmnr.add_logfile('/opt/or

LOGMNR

日志

dbms

原创点赞1 阅读4506 收藏2 评论0 2018-09-07

SQL性能优化跟踪以及分析

SQL性能优化跟踪以及分析【1】在未执行SQL的时候，应该先对SQL进行预先分析，一般分析是看执行计划（查看是否走索引，驱动表的连接方式等），查看执行计划方式：①：SQLDevelopment的F5键②：explainplanforselectfromxxxwherexxx;selectfromtable(dbms_xplan.display);其中①等价于②，是优化器通过读取数据字典的统计信息做

sql跟踪

autotrace

10046

sql执行计划

trace

原创点赞1 阅读4682 收藏0 评论0 2018-09-07

oracle超强sqlplus格式化输出工具-print_table

print_table这个工具是一个存储过程，print_table，用于格式化打印SQL结果,在使用sqlplus查表的时候，若不使用col格式化一些字段，输出是乱的，没有可读性。使用这个过程输出的结果非常整齐，不用图形化工具，就可以使用sqlplus读了。以下地址为详细的介绍：https://blog.csdn.net/bisal/article/details/72872606

print_table

sqlplus

格式输出

转载点赞0 阅读7019 收藏0 评论0 2018-09-04

ORACLE索引失效，更新统计信息

有时候建立索引的时候不走索引，排除了字段数据问题和sql写法问题之外，应该是统计信息有问题，得重新收集。一：解锁统计信息为了稳定执行计划，一般统计信息都会被锁住的，在更新统计信息的时候得先解锁。①按用户schema解锁：EXECDBMS_STATS.UNLOCK_schema_STATS('user_name');②按表模式解锁：先查出被锁定的表selecttable_namefromuser_t

oracle

统计信息

索引失效

收集统信息

DBMS_STATS

原创点赞1 阅读8476 收藏0 评论0 2018-06-25

RAC11g使用数据泵导入导出报ORA-6512，ORA-25306，ORA-39079错

今天在用RAC11g业务库的数据泵进行导入导出工作时候，报ORA-6512，ORA-25306，ORA-39079错，如下：出现的原因：这个错往往跟aq_tm_processes=0有关，查看了aq_tm_processes参数（showparameteraq_tm_processes），发现果然为0。解决方法：将其设置为aq_tm_processes>1的值,问题解决。--altersys

数据泵

报错

ORA

6512

原创点赞0 阅读4269 收藏0 评论0 2018-05-30

undo表空间大小设定

1.undo_retention值越大，需要的undo表空间越大 undo_retention值表示一个undo数据块最久能在undo表空间中停留的时间,单位是秒，缺省值为900。（问：如果已经超过了这个时间，而事务还么有提交，此时该undo数据块可以被覆盖吗？） u

undo表空间

设定大小

undo_retention

转载点赞0 阅读4184 收藏0 评论0 2018-04-18

利用StackStorm实现故障智能诊断

运维自动化程度提高后，对于自动化服务的请求数量不断增长，业务规则和流程的复杂性日益加大。用户对自动化服务越来越依赖，因此对服务标准的要求也在提高，尤其表现在对服务可靠性的高要求。而另一方面，开发周期短，外部依赖多，不可控因素多等原因又使得工具和系统的缺陷在所难免。因此，在出现故障后能够快速定位问题，快速解决问题，把对用户的影响降到最低，就成了一个直接关系到产品成败的非功能性需求。以携程运维工作流平台（携程运维工作流平台是一个运行携程核心运维流程，如服务器，网络，应用等上线/下线/变更等工作流的系统平台）为例，一台服务器的上线流程从提交请求到服务器交付需要控制在半小时之内，而流程由近十个环节，和近十个工具或系统交互，任何一个环节出现微小故障或者不稳定都可能造成流程中断。因此，需要我们能尽早发现每个环节的问题，修复问题。

StackStorm

故障

智能诊断

转载点赞1 阅读10000+ 收藏1 评论0 2018-03-30

Postgresql查看表结构和字段注释

Postgresql查看表结构和字段注释一：查看表结构（字段）信息：Selecttable_name,column_name,data_type,character_maximum_lengthfrominformation.columnswheretable_schema='*dd*'andtable_name='*department*';二：查看字段注释信息：

Postgresql

表结构

字段注释

原创点赞1 阅读10000+ 收藏0 评论0 2018-01-30

Undo表空间引发的灾难

本人在公司搭建了三套oracle集群，据开发同事反映，说集群3的undo表空间老是爆满，资源也不释放，因为业务问题，不能宕机。然后他就不断的新建undo表空间，一直新建到undotbs6,本来默认是两个的（undotbs1和undotbs2）。然后undo表空间越来越大，是在没办法了，他就通过删除undo表空间的方法，不过删除的时候，删错了，删到了undotbs1，一共删除了(undotbs1和u

undo

原创点赞3 阅读5134 收藏0 评论0 2017-12-14

Oracle全文检索

Oracle（oracle text）： Oracle Text使Oracle9i具备了强大的文本检索能力和智能化的文本管理能力，它可以对存储于文件系统中的文档进行检索和查找,并可检索超过 150 种文档类型,包括 Microsoft Word、PDF和XML。Oracle Text查找功能包括模糊查找、词干查找(搜索mice 和查找 mouse)、通配符、相近性等查找方式,以及结果分级

oracle

全文检索

oracle text

转载点赞1 阅读3961 收藏0 评论0 2017-11-16

Oracle12Cogg配置

Oracle12C ogg配置配置 OGG 安装目录的共享：这里的共享就是把 OGG 安装到一个共享的设备上，把该目录同时挂到不同节点的相同位置上，这样当一个节点挂了之后，可以在另一个节点启动和维护

oracle

ogg

12c

转载点赞0 阅读4157 收藏1 评论0 2017-11-10

Rac修改IP（不同网段）的方法步骤

Rac修改IP（不同网段）的方法步骤本人搭建的一套Rac 11g，因客户的要求，需要对IP进行批量更换（包括Public IP,Vip，Scan IP），因此在网上找了一篇比较好的文档进行操作：作者：jyzhao http://www.linuxidc.com/Linux/2017-08/146103.html

修改ip

rac

不同网段

转载点赞0 阅读2267 收藏0 评论0 2017-10-16

Oracle修改数据库字符集

1.（Window：）cmd下输入set ORACLE_SID=你想进入的数据库的那个sid（Linux：）切换到oracle用户：export ORACLE_SID=你想进入的数据库的那个sid2.输入 sqlplus /nolog3.将数据库启动到RESTRICTED模式下做字符集更改： SQL> conn /as sysdba Connecte

ORACLE

修改

数据库

原创点赞0 阅读1533 收藏1 评论0 2017-09-21

Centos7静默安装oracle11g

相比图形界面安装，静默安装只要配置好久很快就可以安装好了，速度较快。因为Centos7和6之前有不同，然后我几次都是借鉴此文章进行安装，写得比较清晰：http://www.cnblogs.com/zydev/p/5827207.html 可能安装的时候，监听器会启动失败要自己配置。修改sqlnet文件就好了

Centos7

静默安装oracle11g

转载点赞0 阅读1281 收藏0 评论0 2017-09-19

Expdp,Impdp报错ora-39006和ora39213

在执行expdp的时候，报错ora-39006和ora39213，Cause: The Data Pump could not use the Metadata API. Typically, this is caused by the XSL stylesheets not being set u

数据泵

ora-39006ora39213

转载点赞0 阅读913 收藏0 评论0 2017-09-19

Navicat 远程不了mysql的解决方案

一：检查是否本地可以登录MYSQL。二：检查是否网络问题，防火墙问题。三：Mysql远程登录权限问题。具体参考：http://jingyan.baidu.com/article/b907e627b0e3b846e7891cc9.html 就可以解决啦！

mysql

1130

Navicat 无法远程连接

转载点赞0 阅读719 收藏0 评论0 2017-09-19

官方博客	意见反馈	了解我们	全部文章
在线客服	网站地图	热门标签

51CTO博客

相得益彰

gp2mysqlutf8非utf8报错处理

SVN清理失败原因以及恢复操作

Kettle连接Oracle资源库失败原因

Flume组件简介

Kettle转换和作业解疑（干货）

Linux系统运行监控命令

Kettle增量插入更新所有数据都拒绝情况处理

oracle修改MAX_STRING_SIZE，突然断电处理

网络排查常用命令

网络排查常用命令

在一次失败的 'Shutdown Immediate'之后，数据库job 不能运行

Oracle迁移到Postgresql的方法

LInux6虚拟机安装GreenPlum

oracle误删除数据文件在线恢复方法

LOGMNR-日志分析的强大工具

SQL性能优化跟踪以及分析

oracle超强sqlplus格式化输出工具-print_table

ORACLE索引失效，更新统计信息

RAC11g使用数据泵导入导出报ORA-6512，ORA-25306，ORA-39079错

undo表空间大小设定

利用StackStorm实现故障智能诊断

Postgresql查看表结构和字段注释

Undo表空间引发的灾难

Oracle全文检索

Oracle12Cogg配置

Rac修改IP（不同网段）的方法步骤

Oracle修改数据库字符集

Centos7静默安装oracle11g

Expdp,Impdp报错ora-39006和ora39213

Navicat 远程不了mysql的解决方案