ETL-浇花匠-51CTO博客

原创 25
翻译 0
转载 1

分享：

全部

semiscon 发布于：2013-12-25
0

一个标准的Data Migration的流程如果你不想Delay又不想通宵盯着屏幕输出的话请参考我的步骤而且我也希望听到你的反馈和建议。标准的DM在没有明确特殊需求以外基本目的之一就是将一端的数据整合到另一端数据库中。不过根据过去的经验来看这个过程中还是会出现一些其他的需求。比如1. 过滤一部分数据。有时候是过滤老数据有时候是基于业务和安全考虑只平移一部分经授权的数据2. 内容转换有时候Target端

原创

阅读 1777

评论 0

收藏 0
semiscon 发布于：2012-05-03
0

元数据和纬度今天和同事讨论了一下如何define元数据的问题其实类似的讨论网上可以找到很多，各自的观点都有可取之处，我想了一个比较简单的比喻。温度湿度风力这些数据在进入数据仓库之前也可以称为元数据，当把这些数据用一根叫做纬度的东西串起来以后就变成了一个新的元数据－－－“天气”。在这里纬度可以是地区，可以是日期，几月几号在哪里有什么样的天气，这个小小的数据立方体

原创

阅读 340

评论 0

收藏 0
semiscon 发布于：2011-11-03
0

Kettle UnexpectedError: java.lang.OutOfMemoryError: Java heap space ERROR 02-11 17:09:49,963 - Center Branch Code.0 - UnexpectedError: java.lang.OutOfMemoryError: Java heap space INFO 02-11 17:11:44,655 - Only Insert AAA.0 - 完成处理 (I=1381, O=1381

原创

阅读 3966

评论 7

收藏 0
semiscon 发布于：2011-11-01
0

浅谈Kettle应用中比较实用的CDC模式 CDC[Change Data Capture] 也就是变化数据捕捉是ETL设计中最重要的一个环节。不同的厂商开发出来的工具都有自己的特定组件来实现CDC的模式，但其实这些实现都有些泛化。原因很简单，CDC要基于不同的表结构和设计来实现的，基于时间变化的就需要源表有时间类型字段，甚至更敏感一些的还需要Trigger来实现CRUD操作留下的痕迹以便实现CDC。还有就是数据流的模式

原创

阅读 2605

评论 0

收藏 0

semiscon

分享到朋友圈

这个家伙比较懒，还没有个人介绍

关注技术：kettle Hadoop ETL
入住博客：2007-04-30 13.1年

七日热门

最近来访

写文章