(1)打开Kettle工具,新建转换
使用Kettle工具,创建一个转换generalization,并添加文本文件输入控件、表输入控件、字段选择控件、排序记录控件、记录集连接控件、表输出控件以及Hop跳连接线,具体效果如图1所示。
2)配置文本文件输入控件
双击图6-1中的“文本文件输入”控件,进入“文本文件输入”界面,单击【浏览】按钮,选择要抽取personnel_data.txt文件;单击【增加】按钮,将要抽取的personnel_data.txt文件添加到generalization转换中。
(3)配置字段选择控件
双击图6-1中的“字段选择”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称,具体如图6-5所示。
(4)配置排序记录控件
双击图6-1中的“排序记录”控件,进入“排序记录”界面,并在“字段”框中添加字段household_register,对其进行排序,具体如图6-6所示。
(5)配置表输入控件
双击图6-1中的“表输入”控件,进入“表输入”界面,如图6-7所示。
(6)配置排序记录2控件
双击图6-1中的“排序记录 2”控件,进入“排序记录”界面,在“字段”框中添加字段city,并对其进行排序,具体如图6-10所示。
(7)配置记录集连接控件
双击图6-1中的“记录集连接”控件,进入“合并排序”界面,在“第一个步骤”处的下拉框中选择“排序记录”,“第二个步骤”处的下拉框中选择“排序记录2”;在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段,这里添加的连接字段是household_register和city;在“连接类型”处的下拉框选择连接类型,这里选择的LEFT OUTER,即左外连接,具体如图6-11所示。
(8)配置字段选择2控件
双击图6-1中的“字段选择2”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称,这里添加的是记录集连接流中的字段household_register和pid,具体如图6-12所示。
9)配置排序记录3控件
双击图6-1中的“排序记录 3”控件,进入“排序记录”界面,在“字段”框中添加字段pid,并对其进行排序,具体如图6-13所示。
(10)配置表输入2控件
双击图6-1中的“表输入2”控件,进入“表输入2”界面,如图6-14所示。
(11)配置排序记录4控件
双击图6-1中的“排序记录 4”控件,进入“排序记录”界面,在“字段”框中添加字段pid,并对其进行排序,具体如图6-17所示。
(12)配置记录集连接2控件
双击图6-1中的“记录集连接2”控件,进入“合并排序”界面,在“第一个步骤”处的下拉框中选择“排序记录3”,“第二个步骤”处的下拉框中选择“排序记录4”;在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段,这里添加的连接字段是pid;在“连接类型”处的下拉框选择连接类型,这里选择的LEFT OUTER,即左外连接,具体如图6-18所示。
13)配置字段选择3控件
双击图6-1中的“字段选择3”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称,这里添加的是记录集连接2流中的字段household_register和Provincial,具体如图6-19所示。
(14)配置表输出控件
双击图8-1中的“表输出”控件,进入“表输出”配置界面,如图6-20所示。
(15)打开Kettle工具,新建转换
使用Kettle工具,创建一个转换generalization_merge,并添加表输入控件、字段选择控件、排序记录控件、记录集连接控件、文本文件输出控件以及Hop跳连接线,具体效果如图6-25所示。
16)配置表输入控件
双击图6-25中的“表输入”控件,进入“表输入”界面,如图6-7所示。
(17)配置字段选择控件
双击图6-25中的“字段选择”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称,具体如图6-29所示。
(18)配置排序记录控件
双击图6-25中的“排序记录”控件,进入“排序记录”界面,并在“字段”框中添加字段id,对其进行排序,具体如图6-30所示。
(19)配置文本文件输入控件
双击图6-25中的“文本文件输入”控件,进入“文本文件输入”界面,单击【浏览】按钮,选择要抽取personnel_data.txt文件;单击【增加】按钮,将要抽取的personnel_data.txt文件添加到generalization_merge转换中,如图6-31所示。
(20)配置字段选择2控件
双击图6-25中的“字段选择2”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称,具体如图6-34所示。
(22)配置记录集连接控件
双击图6-25中的“记录集连接”控件,进入“合并排序”界面,在“第一个步骤”处的下拉框中选择“排序记录”,“第二个步骤”处的下拉框中选择“排序记录2”;在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段,这里添加的连接字段是id;在“连接类型”处的下拉框选择连接类型,这里选择的LEFT OUTER,即左外连接,具体如图6-36所示。
23)配置字段选择3控件
双击图6-25中的“字段选择3”控件,进入“字段选择”界面,在“选择和修改”选项卡处添加字段名称,并将字段household_register_new改为household_register,具体如图6-37所示。
(24)配置文本文件输出控件
双击图6-25中的“文本文件输出”控件,进入“文本文件输出”界面,单击“文件名称”右侧的【浏览】按钮,选择输出文件,即文本文件personnel_data_new,如图6-38所示;单击“内容”选项卡,进入“内容”界面,清除分隔符处的默认分隔符,单击【插入Tab】按钮,插入Tab分隔符。并在编码处的下拉框选择“UTF-8”编码,如图6-39所示;单击“字段”选项卡,进入“字段”界面,添加要输出的字段,如图6-40所示。
(25)打开Kettle工具,新建作业
使用Kettle工具,创建一个作业generalization,并添加Start控件、转换控件、成功控件以及Hop作业项连接线,具体效果如图6-41所示。