ETL （数据仓库技术）ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。
ETL工具的典型代表有:Informatica、Datastage、OWB、微软DTS、
Beel
37 oracle基础—表建立及管理 表 SELECT * FROM USER_TABLES; 对象 SELECT * FROM USER_OBJECTS; 表占用的空间 select sum(bytes) from user_segments where segment_name=table_name; 清空回收站 PURGE RECYCLEBIN; 查看回收站 SELECT * FROM RE
转载
2023-07-24 18:23:34
47阅读
1.Table不做存储，本质是一个视图，真正存储在 Projection里。可以针对一个Ta
原创
2022-06-05 01:49:09
121阅读
背景 谈到负载均衡, 对于数据库集群需要区分几个概念: 1. 运算的负载均衡, Vertica 本身是 MPP 数据库, SQL 操作自动会利用多台机器来加快处理速度. 2. 数据库连接的负载均衡, Vertica 和 Teradata 一样都是无主节点的架构, 这种架构允许客户端连接任意一个节点,
原创
2022-05-05 23:36:50
930阅读
需求：在Vertica数据库上建表，表结构来源于原Oracle数据库，故需要转换成Vertica数据库库表结构。实际转换操作需要评估源库用到的所有数据类型和数据本身特性。下面是总结的某场景下的替换规则，仅供参考。1.时间类型：DATE => TIMESTAMP2.数字类型：NUMBER( => NU...
转载
2014-10-21 20:59:00
328阅读
2评论
客户视角：Oracle ETL工具ODI 数据集成已成为企业在追求市场份额中的关键技术组件，与依靠手工编码的方式不同，越来越多的企业选择完整的数据集成解决方案来支持其IT战略，从大数据分析到云平台的集成。Dao Research最近进行的一项研究，比较全球领先的几个数据集成解决方案之间的差异，及这些产品技术对现实企业的影响。他们采访了IBM，Informatica的，和甲骨文的客户。此外，他们也阅...
原创
2021-07-21 11:59:12
1094阅读
Oracle数据库中为ETL提供一系统的技术，来配合ETL工具来完成一个完整的ETL解决方案。 一 数据抽取(Extraction)    逻辑抽取方法：完整抽取，增量抽取     无路抽取方法：在线抽取，离线抽取     变化数据跟踪：时间戳，分区，触发器(CDC)  
原创
2013-07-18 15:28:03
4297阅读
ca的目录 其中verticaLoader，verticaStorer是vertica给出的接口类，是hadoop pig的loader虑，并
原创
2023-04-21 06:17:51
121阅读
daytab表向historytab表合并数据MERGE INTO public.historytab TRG USING public.daytab SRC ON (TRG.ID =SRC.ID )
WHEN MATCHED THEN UPDATE SET NAME=SRC.NAME,PW =SRC.PW
WHEN NOT MATCHED THEN INSERT(ID,NAME,
原创
2021-11-19 21:14:25
455阅读
kettle下载链接：https://download.csdn.net/download/qdthn/19728113将kettlepdi-ce-7.1.0.0-12.7z压缩包解压到合适的位置后并配置完成后，运行data-integration目录下的spoon.bat文件，接着双击transformation。开始配置数据同步转换任务,双击Input下的Table input，然后双击Out
转载
2023-07-11 22:45:16
191阅读
引子 在上篇博客中重点介绍了几个建模工具的评估, 并选定了SQL Power Architect作为最终的建模工具, 在评估过程中也对Oracle Data Modeler支持Vertica做了点研究, 虽然最终放弃使用Oracle Data Modeler, 但针对Oracle Data Mode
原创
2022-05-05 22:09:55
217阅读
本文介绍如何通过ODI从MySQL同步数据到Oracle。1、定义物理体系结构1.1创建新的MySQL数据服务器Topology->PhysicalArchitecture->MySQL，右击选择NewDataServer，在Definition对话框输入相关信息，如下图：在JDBC对话框输入如下信息，如下图：点击保存。1.2创建MySQL的物理方案Topology->Physi
原创
2018-02-11 10:13:20
2628阅读
本文介绍如何通过ODI从PostgreSQL同步数据到Oracle。1、定义物理体系结构1.1创建新的PostgreSQL数据服务器Topology->PhysicalArchitecture->PostgreSQL，右击选择NewDataServer，在Definition对话框输入相关信息，如下图：在JDBC对话框输入如下信息，如下图：点击保存。点击“TestConnection”
原创
2018-02-12 09:01:56
3278阅读
Oracle ETL日志审计存储过程示例需求概述在ETL中，为了方便跟踪每个步骤的执行情况，需要建立日志容*/CREA.
原创
2023-02-21 07:58:47
243阅读
Vertica 8和 Hadoop 集群的互操作性已经很不错的, 但这块肯定是Vertica研发的重点, 将来可能还有较大的变动. Vertica 集群 和 Hadoop 集群的两种布局方式 |集群布局 | 描述 | 许可证 |支持Vertica for SQL on Hadoop特性 | | |
原创
2022-05-05 23:37:08
414阅读
3月21晚上8点的直播PPT材料和视频回放地址，没有来得及看的小伙伴可以收藏抽空看。B站收看地址：
转载
2022-06-06 16:27:59
170阅读
注：只是经验值设定，仅供参考。RHEL 6.2 CPU 24 Memory 128G 8节点1.keep more event logs for dc_tuple_mover_events.select SET_DATA_COLLECTOR_POLICY('TupleMoverEvents', '1...
转载
2014-06-26 22:11:00
214阅读
2评论
Vertica_9.3.x 数据类型
原创
2021-11-18 10:17:52
3649阅读
Vertica 性能非常好, 平时基本不会碰到性能问题, 即使碰到, 优化也很容易, 而且效果往往会很好. 优化工具 1. explain 命令. 在一个大 SQL 执行之前, 使用 profile 来查看资源的预期消耗. veritica 执行计划除了有普通文本格式, 还有 graphviz 格式
原创
2022-05-05 22:36:44
627阅读
Vertica 表发生死锁后, 通过下面3个查询即可解锁. --步骤1: 找到被锁表的 transaction_idselect transaction_id, t.* from v_monitor.locks t; --步骤2:根据 transaction_id 获得 session_id, 这一
原创
2022-05-05 23:34:11
399阅读
