最近在工作上用到了kettle，目前这个开源的ETl工具相对来说比较火，用做数据抽取清洗工作很方便也很快捷。当然也还有不少的问题，比如使用过程中会发生闪退（测试了几个版本都存在），还有建好的Job和Transfer保存文件，然后再次打开的时候都是空白。抛开这些问题暂时不说，试用了一段时间以后，确实是解决了很多很大的问题。 在使用kettle之前
转载
2024-03-17 09:52:24
78阅读
历史进入2019年，放眼望去，今天的整个技术大环境和生态都发生了很大的变化。在己亥猪年春节刚刚过去的早春时节，我们来梳理和展望一下整个云原生技术趋势的发展，是一件很有意义的事情，这其中有些变化在不可避免地影响着我们身处其中的每一家企业。如果说云原生在2017年还仅仅是冒出了一些苗头，那么2018可以说是普及之年，云原生变成了一个成熟的、被普遍接受的理念。早在1991年Jeffery Moore针对
背景当监控平台发现流量突增，业务系统应用或链路监控出现一定范围的告警，此时我们的查看问题的方向为：APP或网站是否被攻击了，如DDOS、CC、暴力破解等；合作推广带来的业务流量增高，应用系统压力过大；数据库是否出现因连接数满、事务死锁导致压力过大；以上几种情况都是我们在处理生产故障过程中比较常见的， 本次我们就应用系统压力过大的场景，需要进行横向扩容的方向来讲解。需求当应用系统压力过大，除了临时调
转载
2024-10-27 21:45:31
28阅读
kettle详解（数据抽取、转换、装载）原文地址链接： 一：下载路径当你要学习一个工具时，往往一开始就找不到下载路径，也不知道是为什么，连个官网都找不到，最后还是问的别人要的路径，做程序好心酸。http://community.pentaho.com/projects/data-integration 下载路径二：学习kettle是什么？ETL（Ext
简介Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。Kettle 是”Kettle E.T.T.L. Envirnonment”只取首字母的缩写，这意味着它被设计用来帮助你实现你的ETTL 需要：抽取、转换、装入和加载数据；翻译成中文名称应该叫水壶，名字的起源正如该项目的主程序员MATT说的那样，希望把各种数据
转载
2024-02-29 22:46:21
82阅读
1.创建资源库KSPOON--查看表空间的位置和物理文件select TABLESPACE_NAME,FILE_ID,FILE_NAME,BYTES/(1024*1024)TOTAL_SPACE from dba_data_files;--先查看DBF文件的位置--创建表空间CREATE TABLESPACE "KSPOON"DATAFILE 'D:\SOFTWARE\ORACLE\ORADATA
转载
2023-08-29 18:33:02
216阅读
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做
转载
2024-03-26 17:25:20
54阅读
系列文章目录CentOS8安装dockerdocker配置daemondocker部署kettel目标：docker部署kettel 文章目录系列文章目录目标：学习内容docker拉取kettel镜像启动kettel服务linux上kettel执行ktr/kjb文件 学习内容系统版本： linux版本：centOS 8 docker版本：19.03docker拉取kettel镜像我是直接搜dock
转载
2023-07-18 09:33:05
501阅读
主控trans + sub trans 模式 针对一个具体的处理任务(比如增量加载一个表), 我认为应该最好是使用两个trans来完成这个任务,分别是主控trans 和sub trans, 其中主控trans负责流程控制(包括依赖检查+增量区间设定+异常报警), sub trans仅负责数据转换,
原创
2022-05-05 23:34:03
911阅读
Kettle作业和参数1 Job（作业）Job Item（作业项）Job Hop（作业跳）1、无条件执行2、当运行结果为真时执行3、当运行结果为假时执行作业示例2 参数参数的使用转换命名参数参数示例 1 Job（作业）大多数ETL项目都需要完成各种各样的操作，例如：如何传送文件验证数据库表是否存在，等等而这些操作都是按照一定顺序完成，Kettle中的作业可以串行执行转换来处理这些操作。配置作业Jo
转载
2024-08-21 11:27:07
71阅读
kettle学习–基础–01–介绍1、介绍是一款国外开源的ETL工具纯java编写可以在Window、Linux、Unix上运行。中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。数据抽取高效稳定Kettle 现在已经更名为PDI(Pentaho Data Integration)1.1、ETL介绍ETL 是Extract-Transform-Load
转载
2024-01-25 16:46:52
101阅读
“云计算”这个词，相信大家都非常熟悉。作为信息科技发展的主流趋势，它频繁地出现在我们的眼前。伴随它一起出现的，还有 这些概念名词—— OpenStack、Hypervisor、KVM、Docker、K8S...这些名词概念，全部都属于云计算技术领域的范畴。对于初学者来说，理解这些概念的具体含义并不是一件容易的事情。所以，小枣君今天这篇文章，将 给大家做一个通俗易懂的介
转载
2024-06-18 20:38:06
53阅读
容器是一种轻量级的虚拟化技术，拥有持续集成、版本控制、可移植性、隔离性和安全性等优点，越来越多的应用跑在容器里面。但也有其缺陷，并不是所有场景都适合如高性能计算，已经满负荷运行的应用没有必要虚拟化，一些对IO等运行环境要求比较高应用不适合容器化如Oracle数据库。
容器给应用程序提供了一个独立的运行环境，并不是像虚拟机那样提供一套完整的操作系统，这是
转载
2024-04-25 21:57:03
26阅读
本篇为我在做公司容器化监控平台选型时的一些调研思路和资料记录，希望可以给到大家启发和帮助。阅读本文，你可以了解到：现阶段容器化方案总结容器化监控曾经出现过的几种方案：1/ Heapster[1] + ElasticSearch + Kibana2/ Heapster[2] + influxdb + grafana
Heapster 通过 cAdvisor 组件收集 Node 和 容器的监控数
转载
2024-03-08 13:18:46
61阅读
摘要： 介绍完表输入插件，这一篇我们继续介绍kettle中的获取系统信息插件，并将结合表输入插件演示它的其中的一种用途。首先熟悉一下获取系统信息插件的一些功能：获取系统信息1、系统日期(可变)：系统时间，每次访问都在改变。 2、系统日期(固定)：系统时间，有转换开始来决定。即转换开始时间3、开始日期范围(转换)：根据etl日志表的信息，确定日期范围的开始。4、结束日期范围(转换)：根据etl日志
转载
2024-01-20 23:07:06
1063阅读
云原生、容器化，是近年 IT 界主要的话题之一。数字化转型的浪潮下，技术在朝向更加有利于业务快速迭代的方向发展。据 CSDN 最新年度《中国开发者调查报告》数据显示，近一半的公司（43%）已经完成了微服务化、容器化改造。不过，对于使用和部署容器方面的挑战，45% 开发者认为是复杂性，其次是缺少相关的训练。在基础设施技术领域，成熟的虚拟化技术，从成熟度、技术普及度，仍然远远超过了容器技术。对于开发者
转载
2023-10-22 20:36:42
131阅读
内容来源：2017年2月25日，OCI Maintainer马士淼在“New version, New vision”进行《Container Standardization Introduction》演讲分享。IT 大咖说（id:itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。阅读字数：1339 | 4分钟阅读嘉宾演讲视频地址：suo.im/4rnosY
转载
2024-03-15 05:34:12
34阅读
# 实现docker安装kettle可视化教程
## 一、整体流程
下面是实现docker安装kettle可视化的整体流程，你可以按照这个流程逐步操作：
| 步骤 | 操作 |
| --- | --- |
| 1 | 安装Docker |
| 2 | 下载Kettle可视化Docker镜像 |
| 3 | 运行Kettle可视化容器 |
| 4 | 访问Kettle可视化界面 |
## 二
原创
2024-06-18 05:12:31
66阅读
1.使用Kettle工具，创建一个转换load_dim_time，并添加生成记录控件、增加序列控件、JavaScript代码控件、记录关联（笛卡尔输出）控件、表输出控件以及Hop跳连接线，具体如图所示。 2.配置生成记录控件双击“生成记录”控件，进入“生成记录”配置界面，在“限制”处添加生成的时间，这里添加的是生成24小时数据，起始的时间为0；在“字段”框添加生成小时字段的相关信息，如图
转载
2024-10-06 14:03:11
320阅读
容器管理将成为企业数字化转型的主战场，更早采用容器管理的企业将在数字化转型中获得更多优势。
近日，国际知名权威分析机构Gartner发布了最新《全球容器管理预测》。预测中指出：在加速的数字化转型驱动下，到2025年全球容器管理领域市场规模将突破14亿美元，预计年复合增长率将达到25.1%。在疫情的影响下，全球容器管理市场不断增速，对更高水平的
转载
2024-04-19 21:33:45
35阅读
