浇花匠的博客_ETL

浇花匠

12W+
人气
31
文章
54
评论
6
点赞

推荐博客

私信

原创 30
翻译 0
转载 1

全部

原创
一个标准的Data Migration的流程
0

如果你不想Delay又不想通宵盯着屏幕输出的话请参考我的步骤而且我也希望听到你的反馈和建议。标准的DM在没有明确特殊需求以外基本目的之一就是将一端的数据整合到另一端数据库中。不过根据过去的经验来看这个过程中还是会出现一些其他的需求。比如1. 过滤一部分数据。有时候是过滤老数据有时候是基于业务和安全考虑只平移一部分经授权的数据2. 内容转换有时候Target端

semiscon 发布于：2013-12-25

阅读 2036

评论 0

收藏 0
原创
元数据和纬度
0

今天和同事讨论了一下如何define元数据的问题其实类似的讨论网上可以找到很多，各自的观点都有可取之处，我想了一个比较简单的比喻。温度湿度风力这些数据在进入数据仓库之前也可以称为元数据，当把这些数据用一根叫做纬度的东西串起来以后就变成了一个新的元数据－－－“天气”。在这里纬度可以是地区，可以是日期，几月几号在哪里有什么样的天气，这个小小的数据立方体

semiscon 发布于：2012-05-03

阅读 407

评论 0

收藏 0
原创
Kettle UnexpectedError: java.lang.OutOfMemoryError: Java heap space
0

ERROR 02-11 17:09:49,963 - Center Branch Code.0 - UnexpectedError: java.lang.OutOfMemoryError: Java heap space INFO 02-11 17:11:44,655 - Only Insert AAA.0 - 完成处理 (I=1381, O=1381

semiscon 发布于：2011-11-03

阅读 5017

评论 7

收藏 0
原创
浅谈Kettle应用中比较实用的CDC模式
0

CDC[Change Data Capture] 也就是变化数据捕捉是ETL设计中最重要的一个环节。不同的厂商开发出来的工具都有自己的特定组件来实现CDC的模式，但其实这些实现都有些泛化。原因很简单，CDC要基于不同的表结构和设计来实现的，基于时间变化的就需要源表有时间类型字段，甚至更敏感一些的还需要Trigger来实现CRUD操作留下的痕迹以便实现CDC。还有就是数据流的模式

semiscon 发布于：2011-11-01

阅读 3308

评论 0

收藏 0

semiscon

分享到朋友圈

这个家伙比较懒，还没有个人介绍

关注技术：kettle Hadoop ETL
入住博客：2007-04-30 14年

七日热门: 从零开始，徒手撸一个简单的 RPC 框架，轻松搞定！; NumPy之:结构化数组详解; MySQL深入研究：表数据操作; Kubernetes入门(一)——Kubernetes v1.18.5 安装部署; 面试官：RabbitMQ 如何保障消息 100% 投递成功、消息幂等性？

最新文章: 一个标准的Data Migration的流程; Oracle的第一次亲密接触的几个瞬间; 元数据和纬度; Kettle UnexpectedError: java.lang.OutOfMemoryError: Java heap space; 浅谈Kettle应用中比较实用的CDC模式

最新评论: Kettle UnexpectedError: java.lang.OutOfMemoryError: Java heap space

semiscon：不好意思这个回复着实太晚了。前一段时间遇到一个更大的case 又出现了相同的问题发现不是单纯的加大内容调用就可以解决的。主要问题在source端另外 Kettle的主数据库如果安装在MySQL上的话也会出现类似的问题。; I'm Back

姜周：欢迎啊; [伊达原创]FreeBSD8.0 用MYSQL验证vsftp虚拟用户

http://thinksoa.cn：我来了！; [伊达随笔]iptables解决FTP登录慢的问题

konglongk：那么关闭iptables会不会有同样效果??; [伊达原创]FreeBSD8.0源码编译安装MYSQL5 APACHE2.2 PHP5.3.2

htohealth：好文章

最近来访