你的位置:首页 > 数据库

[数据库]Kettle通用数据贴源作业设计


本设计基于以下需求提出

1. 快速接入数据源表(贴源/落地)

2. 无须给单独表开发转换/作业

3. 动态生成数据源连接, 表字段等信息(预先保存在数据仓库中)

 

本设计所需条件

1. 数据源为关系型数据库

2. 不同数据源需要写一小段Java Scripts以保证数据源连接可用

 

总体作业结构

jb_STG_SetVariable: 设置及生成后续转换所需信息
tf_STG_LoadData : 实际贴源转换
jb_Update_Flag : 更新运行后状态

 

jb_STG_SetVariable:

tf_STG_Inc_SetVariable : 获取数据表运行增量时间
tf_STG_selectSource_SetVariable: 获取并设置数据表名,字段名,数据源连接,用户,密码

 

数据表的运行增量时间在数据仓库中进行管理, 每次运行该作业前将每天更新对应表的增量日期/时间.

数据表名,字段名,数据源连接,用户,密码 也是通过数据仓库中一系列的参数表设置完成, 此过程当需要接入一整个数据库(20张表以上)时可通过脚本自动完成, 不在本次Kettle作业设计讨论范围.

 

下面再来看看 tf_STG_Inc_SetVariable 和 tf_STG_selectSource_SetVariable 的内容:

tf_STG_Inc_SetVariable:

 

tf_STG_selectSource_SetVariable:

 

最后jb_Update_Flag作业所做动作为更新日志表记录, 此处与仓库设计关系较大, 不同仓库有各自具体情况, 故不作详细说明.

 

需要本设计的范例


芬兰旅游哪里好玩呢芬兰旅游签证怎么办理芬兰旅游去哪好芬兰旅游团报价优惠深圳到瑞典旅游大风过后的津城晴空万里 处处是景处处美 亚洲论坛永久会址怎么样?博鳌亚洲论坛永久会址好玩吗? 2015广州元宵节灯会有什么好玩的项目?广州元宵节烟花晚会几点开始? 亚洲论坛永久会址在哪里?博鳌亚洲论坛永久会址怎么走? 北碚将重点打“休闲度假”牌 重庆新开这些航线 冬季出游更方便了 带数字的重庆镇街乡地名 第九届深圳(大梅沙)国际风筝节是什么时候?有什么好玩的? 珠海梅溪牌坊简介?梅溪牌坊有什么景点? 什么时候去凤凰古城最好? “最能卖萌”的野生北极熊宝宝 会站立懂作揖 梅溪牌坊门票是通票吗?珠海梅溪牌坊一票到底吗? 各地著名的小吃街有哪些? 岑溪天龙顶公交坐几路?天龙顶山地公园乘车路线? 岑溪天龙顶停车收费吗?天龙顶山地公园开车要多久? 岑溪天龙顶交通方便吗?天龙顶山地公园有直达车吗? SFH3605-3/4 Datasheet SFH3605-3/4 Datasheet SFH3710 Datasheet SFH3710 Datasheet SFH3710-2/3 Datasheet SFH3710-2/3 Datasheet 东南亚有哪些国家 东南亚有哪些国家 东南亚有哪些国家 深圳有哪些好玩的地方 深圳有哪些好玩的地方 深圳有哪些好玩的地方 台湾签证办理流程 台湾签证办理流程 台湾签证办理流程