返回

【Kettle】kettle | 数据表增量脚本 | 表输入变量

发布时间:2023-09-10 21:16:57 228


一、说明

        1、数据库,MySQL

        2、根据ID备份增量数据

        3、主键为bigint,且自增

        4、增量策略,根据ID判断增量

        5、使用工具kettle9

        6、本文重点,介绍查询maxId作为变量用于增量查询

二、处理

1、新增kettle项目

2、组件结构

1)结构

表输入 -> 表输入 -> 表输出

说明: 第一个表输入,用于查询本地数据库表记录的maxId

说明: 第二个表输入,用于查询远程数据库记录大于等于maxId的记录

说明: 表输出,同步到本地数据库

2)示例图

【Kettle】kettle | 数据表增量脚本 | 表输入变量_数据库

 ~~

 3、配置

1)配置表输入-本地最大ID

【Kettle】kettle | 数据表增量脚本 | 表输入变量_自增_02

说明: 配置数据库连接

说明: 查询maxId,无其他配置

2)配置表输入-查询prod增量

【Kettle】kettle | 数据表增量脚本 | 表输入变量_自增_03

 

说明: 配置远程数据库连接

说明: 获取SQL,选择查询的表

说明: where id > ?,重点,"?"即占位符;maxId仅一行值,用?即可

说明: 度娘有用“设置变量”这个组件的,用于多个变量,可自行尝试

3)配置表输出-同步到本地

【Kettle】kettle | 数据表增量脚本 | 表输入变量_自增_04

说明:选择库,选择表即可;无其他操作

~~


特别声明:以上内容(图片及文字)均为互联网收集或者用户上传发布,本站仅提供信息存储服务!如有侵权或有涉及法律问题请联系我们。
举报
评论区(0)
按点赞数排序
用户头像
精选文章
thumb 中国研究员首次曝光美国国安局顶级后门—“方程式组织”
thumb 俄乌线上战争,网络攻击弥漫着数字硝烟
thumb 从网络安全角度了解俄罗斯入侵乌克兰的相关事件时间线