基本概念： 一、 BI：商业智能系统，也称DSS（决策支持系统）。 二、 OLTP：独立事务系统，也称在线事务处理系统。 对比： 指标
转载
2023-12-19 20:26:10
52阅读
一、 输入组件1.1表输入从指定的数据库中，通过sql语句来查询数据加载到内存。允许简易转换：勾选后可以避免不必要的字段的数据类型转换，从而提高性能。替换sql语句里的变量：勾选后可以通过${queryDate}来使用queryDate变量。从步骤中插入数据：以上次的步骤中的数据作为数据的参数，使用？来获取上步骤的数据，查询多个列就多个？接受。从步骤中插入数据的例子：csv文件里面有一些id，我们
转载
2023-07-02 23:16:57
181阅读
本文主要介绍我了解的kettle源码结构，当使用时遇到bug能快速定位到具体代码，有常规修改思路。
kettle是一个开源产品，产品本身设计是很优秀的，代码应该是很多开源爱好者用业余时间贡献的，代码整体结构还是比较容易理解的，但具体到每一个控件内部就因人而异了，感觉还是挺复杂的，肯定别人考虑得比较全面。但因为是开
转载
2023-08-29 19:04:04
111阅读
Pentaho Data Integration(PDI)简介1. PDI结构简介 图 1‑1 PDI核心组件 Spoon是构建ETL Jobs和Transformations的工具。Spoon可以以拖拽的方式图形化设计，能够通过spoon调用专用的数据集成引擎或者集群。Data Integration Server是一个专用的ETL Server，它的主要功能有：功能描述执行通过Pe
转载
2023-10-29 08:00:48
168阅读
Kettle是一款国外开源的ETL（Extract-Transform-Load，数据抽取、转换、装载的过程）工具。Kettle现已更名为PDI（Pentaho-Data-Integration）Pentaho数据集成。kettle中文网 Kettle核心组件：Spoon、Pan、CHEF、Kitchen。 SPOON 允许你通过图形界面来设计ETL转换过程（Transformation）。 PA
转载
2023-08-10 16:31:32
605阅读
专门为kettle这款优秀的ETL工具开发的web端调度、管理工具。
kettle管理工具专门为kettle这款优秀的ETL工具开发的web端调度、管理工具。新版本 项目简介kettle作为非常优秀的开源ETL工具得到了非常广泛的使用，一般的使用的都是使用客户端操作管理，但问题是当投入生产环境使用时，动辄上百或几百个job需要管理，这时在使用客
转载
2023-07-27 10:16:55
462阅读
介绍ETL是数据抽取（Extract）、转换（Transform）、装载（Load）的过程。Kettle是一款国外开源的ETL工具，有两种脚本文件transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。Job：一个作业，由不同逻辑功能的entry组件构成，数据从一个entry组件传递到另一个entry组件，并在entry组件中进行相应
转载
2023-12-27 14:58:56
572阅读
大数据技术框架1. 简介 大数据技术体系主要涉及方面：数据采集，数据处理，数据存储以及分布式协调服务； 数据采集：etl，kettle，flume 数据处理：离线处理hadoop，实时处理spark、storm、flink 数据存储：HBASE、hdfs。 数据仓库；hive 分布式协调服务：zookeeper2.概述ETL: ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓
转载
2023-09-05 18:49:58
199阅读
一：安装jdk1：下载安装jdkkettle是一款纯java编写的开源ETL工具，需要jdk环境支持，下载jdk-6u45-linux-i586.bin到/root/Desktop，建立jdk安装目录#mkdir /usr/java
#cp /root/Desktop/jdk-6u45-linux-i586.bin /usr/java/
#cd /usr/java
#chmod +x jd
转载
2023-10-23 19:00:33
226阅读
Kettle的简介Kettle最早是一个开源的ETL（Extract-Transform-Load的缩写）工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment。后来Kettle重命名为Pentaho Data Integration 。 它由Java开发，支持跨平台运行，其特性包括：支持
转载
2023-11-23 20:40:53
178阅读
接着上一节，连接服务端后，开始通过设计器创建第一个作业（很简单仅用于说明）一、概念解释转换：kettle中转换是一个完整的数据处理过程，里面仅能处理单个处理任务，无法使用条件判断等节点，通常会把不同数据库之间一个表的数据迁移作为一个转换任务。作业：kettle中作业是个可调度的任务，他可以包含多个转换，并且可以设置条件分值，总之最后一个作业再能配置到服务端执行。二、操作过程1、菜单上点
转载
2024-06-02 23:00:33
133阅读
为什么使用PPT？ 梳理演示逻辑 --- 让演示更加直观 --- 演讲的核心是“人” ——> 做好一个交流PPT的设计：
转载
2023-08-15 21:41:26
335阅读
https://gitee.com/1967988842/kettle-master
转载
2023-07-29 23:42:16
96阅读
有关kettle的学习，这里就先不细述kettle中的各种控件的作用了，后续再根据时间补上吧。1、kettle界面打开kettle，主界面有两块内容，分别是转换、作业，在其上右键可新建文件。转换：数据ETL。作业：定时任务。 2、创建数据库连接新建一个转换后，在主对象树栏选择“DB连接”，右键新建。点击“测试”，可以查看是否连接成功。 2.1 同一数据库内的两表同步更新&nbs
转载
2023-11-06 18:12:02
918阅读
好久没有写文章了，最近工作比较忙。下周要到公司另一个部门做CQRS的分享，所以用一周时间整理了一个PPT。为了方便大家查看，我想直接贴到博客里最简单直接。CQRS是一个不错的架构，但是要真正实践，还是很难的。我虽然学习了很多的理论，框架也实践了不少。但要真正应用到实际项目中，还是不那么容易的。到目前为止我个人也只在一个项目中实践过，但当初实践的时候也没有采用本PPT所提到的最终一
本文整理了阿里几位技术专家，如架构总监 谢纯良，中间件技术专家 玄难等几位大牛，关于中台架构的几次分享内容，将业务中台形态、中台全局架构、业务中台化、中台架构图、中台建设方法论、中台组织架构、企业中台建设实施步骤等总共13页PPT精华的浓缩，供大家学习借鉴。01 阿里业务中台架构图 基础设施服务，即IAAS层，提供硬件底层支持。基础服务层，即PAAS层，包括分布式服务框架、分布
转载
2023-07-11 21:16:55
422阅读
目前来看，PPT应该说是最常见的数据分析报告格式了，几乎每个职场工作者多或多或少会用PowerPoint来制作PPT文件。但是，随着大数据时代发展和用户需求的变化，ppt式的数据分析报告已经逐渐开始落后，主要有这几个方面：1、全静态框架：PPT在框架本质上是静态展示，而信息展示中随时根据分析目的动态进行数据的汇总、分组、缩放的需求已经变得越来越普遍。2、非互联网架构：PPT仍然是传统
转载
2023-09-26 13:27:43
47阅读
最近从朋友处得到的演讲用演示文稿。中心是关于“架构设计”，里面提到了架构、业务建模及其设计准则。还配有实例进行说明。
标题：应用系统结构体系概述
页数：31
修复后的文档下载(*.zip 压缩文档)
注意：文稿中所使用动画效果，需要Microsoft Office PowerPoint 2003才能完全支持。
从文档可以看出，该演讲人对于ASP.NET表示层的设计有着很深入的研究。大家可以
转载
2023-08-24 15:46:53
113阅读
# Kettle 技术架构
## 简介
Kettle，也称为Pentaho Data Integration（PDI），是一个开源的ETL（Extract, Transform, Load）工具，用于处理和转换数据。它提供了一系列强大的功能，包括数据提取、数据清洗、数据转换、数据加载等，可以帮助用户实现跨不同数据源的数据集成和转换。Kettle的技术架构是其核心功能的基础，下面将详细介绍Ket
原创
2023-12-03 11:21:17
232阅读
在给用户做售前工作时，讲软件架构基本是必选科目。而售前工作里的架构图，常常和开发的具体工作没什么关系。而在一个软件开发的初期，的确是需要进行架构设计的，这个架构会用于指导开发。但是却不会用于售前。 之所以出现这个问题，是因为架构表述的受众不同。对于售前工作，听众是用户，讲架构的目的是通过原理明确软件能干什
转载
2023-07-31 19:40:09
146阅读
