ETL （数据仓库技术）ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。
ETL工具的典型代表有:Informatica、Datastage、OWB、微软DTS、
Beel
37 oracle基础—表建立及管理 表 SELECT * FROM USER_TABLES; 对象 SELECT * FROM USER_OBJECTS; 表占用的空间 select sum(bytes) from user_segments where segment_name=table_name; 清空回收站 PURGE RECYCLEBIN; 查看回收站 SELECT * FROM RE
转载
2023-07-24 18:23:34
47阅读
目录一、数据分发方式与多线程1. 数据行分发2. 记录行合并3. 记录行再分发4. 数据流水线5. 多线程的问题6. 作业中的并行执行二、Carte子服务器1. 创建Carte子服务器2. 定义子服务器3. 远程执行4. 监视子服务器5. Carte安全6. 服务三、集群转换1. 定义一个静态集群2. 设计集群转换3. 执行和监控4. 元数据转换5. 配置动态集群四、数据库分区1. 在数据库连接中
转载
2024-01-06 21:34:00
15阅读
客户视角：Oracle ETL工具ODI 数据集成已成为企业在追求市场份额中的关键技术组件，与依靠手工编码的方式不同，越来越多的企业选择完整的数据集成解决方案来支持其IT战略，从大数据分析到云平台的集成。Dao Research最近进行的一项研究，比较全球领先的几个数据集成解决方案之间的差异，及这些产品技术对现实企业的影响。他们采访了IBM，Informatica的，和甲骨文的客户。此外，他们也阅...
原创
2021-07-21 11:59:12
1094阅读
Oracle数据库中为ETL提供一系统的技术，来配合ETL工具来完成一个完整的ETL解决方案。 一 数据抽取(Extraction)    逻辑抽取方法：完整抽取，增量抽取     无路抽取方法：在线抽取，离线抽取     变化数据跟踪：时间戳，分区，触发器(CDC)  
原创
2013-07-18 15:28:03
4297阅读
kettle下载链接：https://download.csdn.net/download/qdthn/19728113将kettlepdi-ce-7.1.0.0-12.7z压缩包解压到合适的位置后并配置完成后，运行data-integration目录下的spoon.bat文件，接着双击transformation。开始配置数据同步转换任务,双击Input下的Table input，然后双击Out
转载
2023-07-11 22:45:16
191阅读
SYS 超级管理员，权限最高，它的角色是DBA（数据库管理员），具有创建数据库的权限。 SYSTEM用户 系统管理员，权限很高，它的角色是DBA operator（数据库管理员操作者）。不具有创建数据库的权限！ 普通用户 如系统安装时的scott用户，普通用户的权限是SYS用户或SYSTEM用户给的 ...
转载
2021-07-28 10:02:00
271阅读
2评论
本文介绍如何通过ODI从MySQL同步数据到Oracle。1、定义物理体系结构1.1创建新的MySQL数据服务器Topology->PhysicalArchitecture->MySQL，右击选择NewDataServer，在Definition对话框输入相关信息，如下图：在JDBC对话框输入如下信息，如下图：点击保存。1.2创建MySQL的物理方案Topology->Physi
原创
2018-02-11 10:13:20
2628阅读
本文介绍如何通过ODI从PostgreSQL同步数据到Oracle。1、定义物理体系结构1.1创建新的PostgreSQL数据服务器Topology->PhysicalArchitecture->PostgreSQL，右击选择NewDataServer，在Definition对话框输入相关信息，如下图：在JDBC对话框输入如下信息，如下图：点击保存。点击“TestConnection”
原创
2018-02-12 09:01:56
3280阅读
Oracle ETL日志审计存储过程示例需求概述在ETL中，为了方便跟踪每个步骤的执行情况，需要建立日志容*/CREA.
原创
2023-02-21 07:58:47
243阅读
在使用Linux系统过程中，有时候我们可能会遇到需要卸载某些应用程序或软件的情况。对于一些常用的软件，Linux系统通常会提供自带的卸载工具来帮助用户轻松地将其从系统中移除。
其中，Oracle自带的卸载工具就是一个很好的例子。Oracle是一家知名的软件和技术公司，其产品广泛应用于企业和个人用户中。在Linux系统中安装Oracle产品后，有时候我们可能会需要卸载它们，这时候Oracle自带的
原创
2024-05-30 10:15:06
73阅读
1、环境需求描述：
用户内网有一台oracle 10g库，外网有一台oracle 9i。用户通过内网发布人才招聘相关信息，所有的信息在一张表里面，运行一个export/import脚本把内网该表同步到外网表，内网和外网之间应该 是建立了临时表lb_retain，这张表是作为外网应用使用。该用户开发的新CMS系统（ASP.NET），数据库是采用MSSQL SERVER 2005 X64，该数据库也
推荐
原创
2012-12-01 15:36:40
1324阅读
点赞
2评论
Java规则引擎easy-rules首先以通俗的语言表达何为规则引擎：一段代码：public class FizzBuzz {
public static void main(String[] args) {
for(int i = 1; i <= 100; i++) {
if (((i % 5) == 0) && ((i % 7) == 0)){
转载
2024-06-19 07:07:14
122阅读
RestCloud ETL数据交换平台是基于微服务架构完全自主研发和创新的新一代数据集成平台，通过可视化的拖、拉、拽即可完成数据集成流程的构建并实现数据抽取、转换、清洗、脱敏、加载等功能，从架构、易用性、传输性能、可视化、功能丰富性等方面均全面超越Kettle等开源ETL工具。 ...
转载
2021-08-23 17:13:00
717阅读
2评论
Oracle已经内建了许多函数，不同的函数有不同的作用和用法，有的函数只能作用在一个记录行上，有的能够作用在多个记录行上，不同的函数可能处理不同的数据类型。常见的有两类，单行函数和分组函数 。单行函数：单行函数分类函数功能示例字符函数LPAD(,[,])在字符串c1的左边添加字符串c2直到c1字符串的长度等于i。SELECT LPAD(‘Hello!’,8,’ ’) leftpad,RPAD(‘Hello!’,8,’ ’) rightpadFROM DUAL; RPAD(,[,])在字符串c1的右边添加字符串c2直到c1字符串的长度等于i。LOWER()把字符串c1转换为小写SELECT LO
转载
2013-03-23 10:08:00
83阅读
最近写了一个针对数据仓库ETL的测试框架，baidu google了一下发现还没有非常靠谱的同类型框架或解决方案，就忍不住提前分享一下（其实是因为周五下午不想干活）。
首先分享一下我们过去测试ETL的方法：很简单，就是写两段SQL分别query上下两层数据，然后通过数据库的minus方法来得到不符合预期的数据，进而进行分析。例如
-- Source
转载
2023-08-31 18:19:57
203阅读
select date_id,trunc(date_id - trunc（date_id,'yyyy') + mod( trunc（date_id,'yyyy')-to_date('2000-01-04','yyyy-mm-dd') ,7 ) )/7 +1)from d_calendargroup by da
原创
2012-05-30 17:44:48
500阅读
对于BI项目，在数据仓库方面的技术实现主要是进行数据集成的工作，源数据可能来自不同的业务数据库（如Sql Server、ORACLE、My sql、EXCEL等），通过SSIS的数据流
原创
2022-01-13 16:07:28
215阅读
