使用dw-etl完美替代kettle
相信用过kettle的人都对这个工具既爱又恨，爱的是它功能很多，界面操作很丰富，一副无所不能的样子。然而，真要用它解决一些棘手的问题，它又显得无能为力。
例如这样的标准场景，数据仓库从ods层迁移数据到dw层时，ods层表格很可能类似于exam这个表的样子：
数据仓ods层一个单表通常包含有事实字段和维度字段。
而数据仓dw层则需要把表拆成事实表+维度表的星型结构，或者雪花型结构
面对这样的问题kettle无法优雅地解决，并且现实是我们通常还要应对全量、增量数据同步，还有维度数据的缓慢变化。
dw-etl专门为解决数据维度拆分转换设计，通过一个json配置文件，完成事实表和维度表的建模描述，到数据转换运行时，把源数据表数据逐行传给dw-etl转换引擎，则会自动完成拆分入库目标事实表和维度表。
话不多说贴上json配置文件源码供鉴赏：
{
"project_name": "期末考试分数事实表",
"fact_table": {
"table_name": "fact_exam",
"etl_columns": [
{
"col": "id",
"src_col": "id",
"data_type": "INT(11)",
"is_auto_id": false
},
{
"col": "course_agent_id",
"data_type": "int(11)",
"is_auto_id": false,
"dim_id_from": "dim_course.agent_id"
},
{
"col": "teacher_agent_id",
"data_type": "int(11)",
"is_auto_id": false,
"dim_id_from": "dim_teacher.agent_id"
},
{
"col": "student_agent_id",
"data_type": "int(11)",
"is_auto_id": false,
"dim_id_from": "dim_student.agent_id"
},
{
"col": "score",
"src_col": "score",
"data_type": "INT(11)",
"is_auto_id": false
},
{
"col": "sync_time",
"src_col": "sync_time",
"data_type": "datetime",
"is_auto_id": false
},
{
"col": "agent_id",
"src_col": "",
"data_type": "int(11)",
"is_auto_id": true
}
]
},
"dim_tables": [
{
"table_name": "dim_course",
"etl_columns": [
{
"col": "course_name",
"src_col": "course_name",
"data_type": "VARCHAR(255)",
"is_auto_id": false
},
{
"col": "agent_id",
"src_col": "",
"data_type": "int(11)",
"is_auto_id": true
},
{
"col": "sync_time",
"src_col": "sync_time",
"data_type": "datetime",
"is_auto_id": false
}
],
"unique_check": {
"unique_key_columns": [
"course_name"
],
"unique_key_date_column": "sync_time",
"uncheck_columns": [
"course_name",
"sync_time"
],
"if_exists_skip": true
}
},
{
"table_name": "dim_teacher",
"etl_columns": [
{
"col": "teach_years",
"src_col": "teach_years",
"data_type": "INT(11)",
"is_auto_id": false
},
{
"col": "teacher_name",
"src_col": "teacher_name",
"data_type": "VARCHAR(255)",
"is_auto_id": false
},
{
"col": "teacher_number",
"src_col": "teacher_number",
"data_type": "INT(11)",
"is_auto_id": false
},
{
"col": "agent_id",
"src_col": "",
"data_type": "int(11)",
"is_auto_id": true
},
{
"col": "course_agent_id",
"data_type": "int(11)",
"is_auto_id": false,
"dim_id_from": "dim_course.agent_id"
},
{
"col": "sync_time",
"src_col": "sync_time",
"data_type": "datetime",
"is_auto_id": false
}
],
"unique_check": {
"unique_key_columns": [
"teacher_number"
],
"unique_key_date_column": "sync_time",
"uncheck_columns": [
"teacher_number",
"sync_time"
],
"if_exists_skip": true
}
},
{
"table_name": "dim_student",
"etl_columns": [
{
"col": "student_name",
"src_col": "student_name",
"data_type": "VARCHAR(255)",
"is_auto_id": false
},
{
"col": "student_number",
"src_col": "student_number",
"data_type": "VARCHAR(255)",
"is_auto_id": false
},
{
"col": "agent_id",
"src_col": "",
"data_type": "int(11)",
"is_auto_id": true
},
{
"col": "sync_time",
"src_col": "sync_time",
"data_type": "datetime",
"is_auto_id": false
}
],
"unique_check": {
"unique_key_columns": [
"student_number"
],
"unique_key_date_column": "sync_time",
"uncheck_columns": [
"student_number",
"sync_time"
],
"if_exists_skip": true
}
}
]
}可见配置文件脉络非常清晰，一个事实表（fact_exam）放在fact_table对象里，多个维度表（dim_course、dim_teacher、dim_student）放在dim_tables数组对象里，然后各个表都有来源字段和目标字段、字段类型配置。为了应对缓慢变化维，事实表和维度表都加了agent_id自增id作为代理id，is_auto_id: true则表示自增主键。
维度表配置复杂一些，多了个unique_check对象配置，unique_key_columns是维度表用于唯一定位一行数据的列集合，例如学生的学号、老师的工号。如果学生学号还要加上年级班号才能唯一定位学生呢？那就把学生学号和班号id都放在unique_key_columns数组就是了。unique_key_date_column放入同步数据日期列，全量增量数据通常会有这个日期字段。uncheck_columns是排除一些与维度表缓慢变化维不相关的字段。if_exists_skip保留是true就对了，不然存在相同的维度数据还继续插入维度表则是多余的。
搞清楚配置文件格式后，其他就基本是模板化操作了，下载dw-etl及example，按照使用说明跑通example工程，就能掌握dw-etl开发了。
