ETL Exract Transform Load 抽取、转换、装载。ETL 是建立数据仓库最重要的处理过程，也是最体现工作量的环节，一般会占用到整个数据仓库项目工作量的一半以上。抽取：从操作型数据源获取数据。转换：转换数据，使之转变为适用于查询和分析的形式和结构。装载：将转换后的数据导入最终的目标数据仓库。建立一个数据仓库，就是要把来自于多个异构的源数据集成在一起，放置于一个集中的位
转载
2023-09-16 20:55:14
114阅读
ETL （数据仓库技术）ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。
ETL工具的典型代表有:Informatica、Datastage、OWB、微软DTS、
Beel
RestCloud ETL数据融合平台是基于微服务架构研发的新一代数据融合平台，是为企业提供业务系统数据之间的集成，以及异构数据源之间的数据传输于一体的一站式的数据处理平台。
ETL的应用是将企业业务系统的数据经过抽取、清洗、转换之后加载到数据仓库的一个过程。用ETL的目的是为了把企业散落在各个系统中的数据集中起来，统一标准化管理。因此，ETL是构建数据
转载
2024-03-18 16:59:22
139阅读
以前，曾经利用各数据库底层C-API作wrapping，实现了若干异构数据库间数据导入导出的功能，但是代码复杂，不便开源。下午，用java写了一个简单的数据抽取程序，实现MySQL数据库到Sybase ASE的数据移植。将它开源，放到：http://code.google.com/p/jmyetl/上边了。本来取名做myetl，结果已经有人在sf.net上申请了，后来在其前加上一个j。以示java
转载
2024-06-16 18:12:54
64阅读
# 实现开源的ETL Java平台
## 介绍
在这篇文章中，我将教给你如何实现一个开源的ETL（提取、转换、加载） Java平台。ETL是一种常见的数据处理方式，用于从源系统中提取数据，经过一系列的转换操作后，将数据加载到目标系统中。这个平台将帮助你更方便地进行数据处理和转换操作。
## 整体流程
下面的表格展示了实现这个开源ETL Java平台的整体流程和每个步骤需要做的事情。
| 步
原创
2023-11-18 15:11:45
115阅读
# Hadoop平台的ETL工具
在大数据处理的领域中，ETL（提取、转换、加载）过程是数据集成的核心。Hadoop平台提供了多种工具来实现ETL，包括Apache Nifi、Apache Sqoop和Apache Hive。本文将介绍Hadoop平台的ETL工具的基本概念，并提供代码示例，帮助大家更好地理解ETL在大数据环境中的应用。
## ETL的基本概念
ETL的三个主要步骤：
1.
原创
2024-09-26 06:53:46
99阅读
37 oracle基础—表建立及管理 表 SELECT * FROM USER_TABLES; 对象 SELECT * FROM USER_OBJECTS; 表占用的空间 select sum(bytes) from user_segments where segment_name=table_name; 清空回收站 PURGE RECYCLEBIN; 查看回收站 SELECT * FROM RE
转载
2023-07-24 18:23:34
47阅读
文档标题1、平台类型2、核心架构2.1、逻辑架构2.1、存储形式3、使用汇总3.1、权限控制3.2、常规操作3.2.1、数据类型3.2.2、函数使用3.2.3、ddl操作3.2.4、dml操作4、运维监控 修订页序号修订内容修订日期修订人版本号1创建全文2023/03/12高正华v1.0.02内容调整2023/03/20高正华v1.1.0/============================
转载
2023-11-27 12:48:02
62阅读
1、环境需求描述：
用户内网有一台oracle 10g库，外网有一台oracle 9i。用户通过内网发布人才招聘相关信息，所有的信息在一张表里面，运行一个export/import脚本把内网该表同步到外网表，内网和外网之间应该 是建立了临时表lb_retain，这张表是作为外网应用使用。该用户开发的新CMS系统（ASP.NET），数据库是采用MSSQL SERVER 2005 X64，该数据库也
推荐
原创
2012-12-01 15:36:40
1322阅读
点赞
2评论
客户视角：Oracle ETL工具ODI 数据集成已成为企业在追求市场份额中的关键技术组件，与依靠手工编码的方式不同，越来越多的企业选择完整的数据集成解决方案来支持其IT战略，从大数据分析到云平台的集成。Dao Research最近进行的一项研究，比较全球领先的几个数据集成解决方案之间的差异，及这些产品技术对现实企业的影响。他们采访了IBM，Informatica的，和甲骨文的客户。此外，他们也阅...
原创
2021-07-21 11:59:12
1094阅读
Oracle数据库中为ETL提供一系统的技术，来配合ETL工具来完成一个完整的ETL解决方案。 一 数据抽取(Extraction)    逻辑抽取方法：完整抽取，增量抽取     无路抽取方法：在线抽取，离线抽取     变化数据跟踪：时间戳，分区，触发器(CDC)  
原创
2013-07-18 15:28:03
4297阅读
kettle下载链接：https://download.csdn.net/download/qdthn/19728113将kettlepdi-ce-7.1.0.0-12.7z压缩包解压到合适的位置后并配置完成后，运行data-integration目录下的spoon.bat文件，接着双击transformation。开始配置数据同步转换任务,双击Input下的Table input，然后双击Out
转载
2023-07-11 22:45:16
191阅读
来源：Datawhale
本文约1700字，建议阅读6分钟本文主要讲解了大数据的概念和基础知识，帮助读者对大数据有一个基本了解。1.什么是大数据1.1 大数据特征 我们引用了大数据的4V特征Volume 大数据数据量大，数据量单位为T 或者P级。Variety 数据类型多，大数据包含多种数据维度 比如 日志、视频、图片。Value 价值密度低，商业价值高 比如监控视频，其中关键1-2秒可能具有
在去年年底的一次YC Startup School采访中，YC软件工程师Kyle Corbitt，询问了亚马逊的首席技术官Werner Vogels，关于容器和Kubernetes的问题。Werner在台上待了44多分钟，显得很困惑，他详述了AWS的最低限度可行的容器产品, 然后突然转了一个弯，说道：“容器的一个问题是，它几乎让你又回到了云出现之前的那个时代。”他说，“虽然容器对开发人员来说是一个
转载
2024-08-21 22:36:40
102阅读
本文介绍如何通过ODI从MySQL同步数据到Oracle。1、定义物理体系结构1.1创建新的MySQL数据服务器Topology->PhysicalArchitecture->MySQL，右击选择NewDataServer，在Definition对话框输入相关信息，如下图：在JDBC对话框输入如下信息，如下图：点击保存。1.2创建MySQL的物理方案Topology->Physi
原创
2018-02-11 10:13:20
2628阅读
本文介绍如何通过ODI从PostgreSQL同步数据到Oracle。1、定义物理体系结构1.1创建新的PostgreSQL数据服务器Topology->PhysicalArchitecture->PostgreSQL，右击选择NewDataServer，在Definition对话框输入相关信息，如下图：在JDBC对话框输入如下信息，如下图：点击保存。点击“TestConnection”
原创
2018-02-12 09:01:56
3278阅读
Oracle ETL日志审计存储过程示例需求概述在ETL中，为了方便跟踪每个步骤的执行情况，需要建立日志容*/CREA.
原创
2023-02-21 07:58:47
243阅读
Netflix：如何打造开放协作的实时ETL平台？徐振中Flink中文社区摘要：本文由Netflix高级软件工程师徐振中分享，内容包含有趣的案例、分布式系统基础方面的各种挑战以及解决方案，此外还讨论了其在开发运维过程中的收获，对开放式自助式实时数据平台的一些新愿景，以及对RealtimeETL基础平台的一些新思考。文章内容主要分为以下三部分：产品背景产品功能挑战&解决方案Tips：点击「阅
原创
2021-02-05 20:52:32
362阅读
摘要：本文由 Netflix 高级软件工程师徐振中分享，内容包含有趣的案例、分布式系统基础方面的各种挑战以及解决方案，此外还讨论了其在开发运维过程中的收获，对开放式自助式实时数据平台的一...
转载
2022-01-25 16:24:26
119阅读
摘要：本文由 Netflix 高级软件工程师徐振中分享，内容包含有趣的案例、分布式系统基础方面的各种挑战以及解决方案，此外还讨论了其在开发运维过程中的收获，对开放式自助式实时数据平台的一...
转载
2021-07-06 15:07:32
70阅读
