wx630f300fec73f的博客_数仓工具

kettle MongoDB Output 配置说明

基本配置Configure Connection Tab数据库连接Connection timeout：尝试连接数据库所等待的最大时间（毫秒），空为无限，建议5000Socket timeout：sql在执行成功之前等待读写操作的时间（毫秒），空为无限，建议5000Output Options Tab输入表与相关设置Truncate option：在数据传输前清空表Update 与 Upsert：

字段

字段名

运算符

原创 5月前 92 阅读

kettle学习笔记（一）——入门与安装

一、概述1.kettle是什么国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。参考kettle中文网：http://www.kettle.net.cn/强烈推荐书籍：《Pentaho Kettle解决方案：使用PDI构建开源E

解决方案

命令行

.net

原创 2022-12-15 16:11:57 230 阅读

使用kettle报Invalid byte 1 of 1-byte UTF-8 sequence异常

使用kettle时报Invalid byte 1 of 1-byte UTF-8 sequence异常两种解决办法一：【创建数据库连接时】修改数据库编码注意，是创建数据库连接时修改，报这个错误是因为设置数据库共享时存入配置文件中的内容乱码了，即使你现在更改了数据库连接的编码，也还是不会更改xml文件的内容，所以要在创建数据库连接时修改如图配置characterEncoding=gbk即可

数据库连接

数据库

xml文件

原创 2022-08-31 23:47:27 967 阅读

kettle学习笔记（二）——kettle基本使用

一、子程序功能和启动方式介绍 Spoon.bat: 图形界面方式启动作业和转换设计器。Pan.bat: 命令行方式执行转换。Kitchen.bat: 命令行方式执行作业。Carte.bat: 启动web服务，用于 Kettle 的远程运行或集群运行。Encr.bat: 密码加密转换和作业：Kettle 的 Spoon 设计器用来设计转换（Transformation）和作业（Job）。

字段

数据

随机数

原创 2022-08-31 23:34:41 468 阅读

kettle学习笔记（四）——kettle输入步骤

一、输入步骤概述输入步骤主要分为以下几类：　　　　• 生成记录/自定义常量　　　　• 获取系统信息　　　　• 表输入　　　　• 文本文件输入　　　　• XML 文件输入　　　　• Json输入　　　　• 其他输入步骤二、生成记录和自定义常量　　1.生成记录　　　　由于生成记录每行都是一样的数据，所以便诞生了自定义常量数据来手工模拟数据2.自定义常量数据　　常用于构造一些测试数据三、获取系统信息　　

文本文件

数据

自定义

原创 2022-08-31 23:33:50 1282 阅读

Kettle:生成记录和增加序列

1.生成记录生成记录操作可以生成一组数据，这个操作的主要用来生成测试数据。构建如下转换作业：设置【生成记录】，其配置如下:运行转换任务，可以看到形成的数据如下：另外还有一点要注意，如果【生成记录】前面还有其他转换操作，前面的记录是无法正确读取的。 2. 增加序列【增加序列】可以给输入流中的数据增加一个字段

数据

配置信息

自增

原创 2022-08-31 21:09:29 1071 阅读

kettle连接sqlite

SQLite 是一个软件库，实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。SQLite 是在世界上最广泛部署的 SQL 数据库引擎。SQLite 源代码不受版权限制。关系型数据库。和其他数据库不同的是SQLite存储数据时不区分类型SQLite是一款轻型的嵌入式数据库它占用资源非常的低，在嵌入式设备中，可能只需要几百K的内存就够了它的处理速度比Mysql、PostgreS

sqlite

数据库

sql

原创 2022-08-31 18:43:57 1373 阅读

kettle-如何在作业job中使用JavaScript脚本

描述(Description)使用JavaScript作业条目来计算布尔表达式。结果可用于确定下一步将要执行的步骤。Javascript作业条目会评估并返回true或false。评估(Evaluation)JavaScript作业条目的结果为true或false。换句话说，它需要以布尔表达式结尾。下面是一些可能的评估，以结束您的脚本：lines_input > 100 或&nbs

javascript

数据库

java

原创 2022-08-31 18:43:55 1810 阅读

kettle JVM内存设置-

1、查看本地JVM内存大小 JVM初始分配的内存由-Xms指定，默认是物理内存的1/64；JVM最大分配的内存由-Xmx指定，默认是物理内存的1/4。默认空余堆内存小于 40%时，JVM就会增大堆直到-Xmx的最大限制；空余堆内存大于70%时，JVM会减少堆直到-Xms的最小限制。因此服务器一般设置-Xms、 -Xmx相等以避免在每次GC 后调整堆的大小。可

堆内存

物理内存

java

原创 2022-08-31 18:43:22 2982 阅读

xp系统上安装和使用kettle

1、xp系统只支持jdk1.7以前及jdk1.7的安装。如果需要在xp系统上安装jdk1.8我们需要做而外的处理。（kettle 7.0以上版本需要jdk1.8）a、下载jdk8安装包，地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html &nbs

java

jar

html

原创 2022-08-31 18:43:08 321 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx630f300fec73f的博客