kettle 中shell 里面写python kettle调用python脚本

转载

技术极客 2024-02-14 20:06:18

文章标签 etl 资源库 Pan 命令行 文章分类 Python 后端开发

文章目录

05-PDI(Kettle)脚本执行

pan和kitchen实验背景
pan命令演示

创建脚本文件：transschdule.bat

kitchen命令演示
定时任务中

05-PDI(Kettle)脚本执行

pan和kitchen实验背景

作业和转换可以在图形化界面里执行，但这只是在开发、测试和调试阶段。在开发完成后，需要部署到实际运行环境，在部署阶段，Spoon就很少用到了。

在部署阶段，一般需要通过命令行执行。需要将命令行输入到执行脚本中，并定时调度这个脚本。Kitchen和Pan 在概念和用法上都非常接近，这两个命令的参数也基本一样。唯一不同的是Kitchen用于执行作业，而Pan用于执行转换。

pan命令演示

pan用于在终端执行转换，可以通过定时调度任务调度，一般可通过spoon开发完ETL过程，然后通过工作流调度pan实现定时执行。
切换到pdi的安装目录：

C:\WINDOWS\system32>cd /d E:\pdi-ce-8.2.0.0-342\data-integration

执行Pan.bat命令，会提示支持的相关参数：

E:\pdi-ce-8.2.0.0-342\data-integration>Pan.bat

返回参数如下。

kettle 中shell 里面写python kettle调用python脚本_etl

-version 显示版本信息
-file=filename 运行的文件
-param:key=value 指定命名参数
-log=logging filename 设置日志文件
-level=logging level 设置日志级别

创建脚本文件：transschdule.bat

cd /d E:\pdi-ce-8.2.0.0-342\data-integration
call pan /file="C:\Users\DELL\Desktop\kettle\Transformation 1param.ktr" /level=Detailed /log=D:\1.log0

pause

需要注意，如果路径含有空格，要用双引号引起来
在bat文件中，建议使用 call调用命令，然后添加pause暂停终端关闭
双击ransschdule.bat即可执行。

kitchen命令演示

实验原理
kitchen是一个作业执行引擎，用来执行作业。这是一个命令行执行工具
在Windows系统下，Kitchen通过执行kitchen.bat来执行，Pan通过pan.bat来执行；在类UNIX系统下，Kitchen通过执行kitchen.sh来执行，Pan通过pan.sh来执行。相关详细参数

参数名	参数值	作用
rep	资源库名称	要连接的资源库的名称
user	资源库用户名	要连接的资源库的用户名
pass	资源库用户密码	要连接的资源库的用户密码
listrep		显示所有的可用资源库
dir	资源库里的路径	指定资源库路径
listdir		列出资源库的所有路径
file	文件名	指定作业或转换所在的文件名
level	Error\|Nothing\| Basic\|Detailed\| Debug\|Rowlevel\|	指定日志级别
logfile	日志文件名	指定要写入的日志文件名
version		显示Kettle的版本号、build日期