以前，曾经利用各数据库底层C-API作wrapping，实现了若干异构数据库间数据导入导出的功能，但是代码复杂，不便开源。下午，用java写了一个简单的数据抽取程序，实现MySQL数据库到Sybase ASE的数据移植。将它开源，放到：http://code.google.com/p/jmyetl/上边了。本来取名做myetl，结果已经有人在sf.net上申请了，后来在其前加上一个j。以示java
转载
2024-06-16 18:12:54
64阅读
ETL Exract Transform Load 抽取、转换、装载。ETL 是建立数据仓库最重要的处理过程，也是最体现工作量的环节，一般会占用到整个数据仓库项目工作量的一半以上。抽取：从操作型数据源获取数据。转换：转换数据，使之转变为适用于查询和分析的形式和结构。装载：将转换后的数据导入最终的目标数据仓库。建立一个数据仓库，就是要把来自于多个异构的源数据集成在一起，放置于一个集中的位
转载
2023-09-16 20:55:14
114阅读
文档标题1、平台类型2、核心架构2.1、逻辑架构2.1、存储形式3、使用汇总3.1、权限控制3.2、常规操作3.2.1、数据类型3.2.2、函数使用3.2.3、ddl操作3.2.4、dml操作4、运维监控 修订页序号修订内容修订日期修订人版本号1创建全文2023/03/12高正华v1.0.02内容调整2023/03/20高正华v1.1.0/============================
转载
2023-11-27 12:48:02
62阅读
RestCloud ETL数据融合平台是基于微服务架构研发的新一代数据融合平台，是为企业提供业务系统数据之间的集成，以及异构数据源之间的数据传输于一体的一站式的数据处理平台。
ETL的应用是将企业业务系统的数据经过抽取、清洗、转换之后加载到数据仓库的一个过程。用ETL的目的是为了把企业散落在各个系统中的数据集中起来，统一标准化管理。因此，ETL是构建数据
转载
2024-03-18 16:59:22
139阅读
# 实现开源的ETL Java平台
## 介绍
在这篇文章中，我将教给你如何实现一个开源的ETL（提取、转换、加载） Java平台。ETL是一种常见的数据处理方式，用于从源系统中提取数据，经过一系列的转换操作后，将数据加载到目标系统中。这个平台将帮助你更方便地进行数据处理和转换操作。
## 整体流程
下面的表格展示了实现这个开源ETL Java平台的整体流程和每个步骤需要做的事情。
| 步
原创
2023-11-18 15:11:45
115阅读
# Hadoop平台的ETL工具
在大数据处理的领域中，ETL（提取、转换、加载）过程是数据集成的核心。Hadoop平台提供了多种工具来实现ETL，包括Apache Nifi、Apache Sqoop和Apache Hive。本文将介绍Hadoop平台的ETL工具的基本概念，并提供代码示例，帮助大家更好地理解ETL在大数据环境中的应用。
## ETL的基本概念
ETL的三个主要步骤：
1.
原创
2024-09-26 06:53:46
99阅读
来源：Datawhale
本文约1700字，建议阅读6分钟本文主要讲解了大数据的概念和基础知识，帮助读者对大数据有一个基本了解。1.什么是大数据1.1 大数据特征 我们引用了大数据的4V特征Volume 大数据数据量大，数据量单位为T 或者P级。Variety 数据类型多，大数据包含多种数据维度 比如 日志、视频、图片。Value 价值密度低，商业价值高 比如监控视频，其中关键1-2秒可能具有
在去年年底的一次YC Startup School采访中，YC软件工程师Kyle Corbitt，询问了亚马逊的首席技术官Werner Vogels，关于容器和Kubernetes的问题。Werner在台上待了44多分钟，显得很困惑，他详述了AWS的最低限度可行的容器产品, 然后突然转了一个弯，说道：“容器的一个问题是，它几乎让你又回到了云出现之前的那个时代。”他说，“虽然容器对开发人员来说是一个
转载
2024-08-21 22:36:40
102阅读
ETL为数据仓库服务，数据仓库用于数据分析，数据分析属于BI系统的要干的事儿。 一般中/小型ERP系统都会有不成熟的BI系统，为啥叫做不成熟？ 因为它们或者有报表分析功能，但不具有OLAP(在线分析)，或者有OLAP，但却没有数据挖掘和深度分析。或者干脆，来个大集成，直接利用第三方工具来达
转载
2024-02-22 14:32:50
53阅读
ETL是BI项目最重要的一个环节，通常情况下ETL会花掉整个项目的1/3的时间，ETL设计的好坏直接关接到BI项目的成败。ETL也是一个长期的过程，只有不断的发现问题并解决问题，才能使ETL运行效率更高，为项目后期开发提供准确的数据。 ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候也是从这三部分出发。数据的抽取是从各个不同的
转载
2024-01-23 16:19:55
49阅读
1.基于ETL的数据清洗1.1 ETL的概念ETL是英文Extract-Transform-Load的缩写，用来描述将数据从源端经过抽取、转换、加载至目的端的过程。 企业中常用的ETL实现有多种方法，常见方式如下： （1）借助ETL工具。 （2）编写SQL语句。 （3）将ETL工具和SQL语句结合起来使用。1.2 ETL的体系结构ETL主要是用来实现异构数据源数据集成的，多种数据源的所有原始数据大
转载
2024-06-23 22:43:57
127阅读
最近写了一个针对数据仓库ETL的测试框架，baidu google了一下发现还没有非常靠谱的同类型框架或解决方案，就忍不住提前分享一下（其实是因为周五下午不想干活）。
首先分享一下我们过去测试ETL的方法：很简单，就是写两段SQL分别query上下两层数据，然后通过数据库的minus方法来得到不符合预期的数据，进而进行分析。例如
-- Source
转载
2023-08-31 18:19:57
203阅读
常用的数据集成ETL工具有哪些？ETL工具用于将异构数据转换为同类数据，然后由数据科学家用于从数据中获得有价值的数据，常用的ETL工具有Microsoft-SQL Server集成服务、AWS Glue、Apache NiFi、Informatica PowerCenter、IBM的Infosphere Information Server等。ETL工具是什么呢？ETL是英文Extract-Tra
转载
2023-08-14 12:10:20
106阅读
数据仓库是由外部多个数据源汇总集成的，“集成”这个词代表并不是简单的堆积，而是需要进行一些逻辑处理，数仓的集成就是这样，因为外部数据源都是异构的，所以需要做很多工作才可以进行集成，这些工作包括但不限于：字段的意义统一，轻度统计等。抽取数据有如下策略：时间戳判断扫描增量文件日志文件，审计文件扫描修改应用程序（很少使用）映像文件扫描（很少使用）另外，抽取的数据需要增加时间戳（必须的），存储到介质里面需
转载
2024-03-04 02:30:29
80阅读
一、ETL概念 ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据， ETL是BI（商业智能）项目重要的一个环节。二、E-T-L架构分类 ETL所描述的过程，一般常见的作法包含ETL或
转载
2023-09-28 08:31:01
185阅读
为什么使用geventPython通过yield提供了对协程的基本支持，但是不完全。比如python的yield虽然提供了对协程的支持，但是需要用send手动发送数据(比如io操作时的切换，需要发送 “耗时操作完成”告诉程序可以继续往下走)，才能改变程序的执行流程，，而第三方的gevent为Python提供了比较完善的协程支持。gevent的优点gevent是第三方库，通过greenlet实现协程
转载
2024-07-03 07:45:52
65阅读
1. 安装4.0框架ETL的正运行前提是操作系统中已经安装有4.0框架。如果没有，请在运行ETL工具前将其提前安装。2. 解压ETL工具安装包将接收到的ETL工具压缩包解压到本地3. 安装建库脚本在oracle库中创建新用户，一般用户名为SJTB,然后在在ETL所在的目录下找到【建库脚本oracle.sql】，将该脚本其在SJTB用
转载
2023-08-31 08:28:17
180阅读
ETL，全称 Extract-Transform-Load，它是将大量的多个来源的原始数据经过提取（extract）、清洗加转换（transform）、加载（load）到目标存储数据仓库或数据湖的过程；
在21世纪大数据时代，我们的系统中有来自各种来源的结构化和非结构化数据，包括：来自在线支付和客户关系管理（CRM）系统的客户数据、来自供应商系统的库存和
转载
2023-07-11 22:35:37
104阅读
Netflix：如何打造开放协作的实时ETL平台？徐振中Flink中文社区摘要：本文由Netflix高级软件工程师徐振中分享，内容包含有趣的案例、分布式系统基础方面的各种挑战以及解决方案，此外还讨论了其在开发运维过程中的收获，对开放式自助式实时数据平台的一些新愿景，以及对RealtimeETL基础平台的一些新思考。文章内容主要分为以下三部分：产品背景产品功能挑战&解决方案Tips：点击「阅
原创
2021-02-05 20:52:32
362阅读
摘要：本文由 Netflix 高级软件工程师徐振中分享，内容包含有趣的案例、分布式系统基础方面的各种挑战以及解决方案，此外还讨论了其在开发运维过程中的收获，对开放式自助式实时数据平台的一...
转载
2022-01-25 16:24:26
119阅读
