一种用于DataX系统的json文件生成方法、装置及电子设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115964375A(43)申请公布日2023.04.14(21)申请号202310247071.0G06F16/27(2019.01)(22)申请日2023.03.15(71)申请人深圳迅策科技有限公司地址518000广东省深圳市南山区粤海街道高新园粤兴一道9号香港科技大学产学研大楼118A室(72)发明人杨阳蔡杰陈旭(74)专利代理机构深圳国联专利代理事务所(特殊普通合伙)44465专利代理师晏达峰(51)Int.Cl.G06F16/22(2019.01)G06F16/16(2019.01)G06F16/242(2019.01)G06F16/25(2019.01)权利要求书2页说明书8页附图5页(54)发明名称一种用于DataX系统的json文件生成方法、装置及电子设备(57)摘要本公开涉及数据处理技术领域，具体涉及一种用于DataX系统的json文件生成方法、装置及电子设备。方法包括：基于源数据库中的第一数据表和目标数据库中的第二数据表的表结构信息生成查询语句，其中，所述查询语句用于获取所述第一数据表和所述第二数据表中同时存在的字段，所述第二数据表是所述第一数据表从所述源数据库映射到所述目标数据库后形成的对应数据表；对所述同时存在的字段的每个字段获取所述字段在所述第二数据表中的字段类型；基于所述查询语句和所述字段类型生成所述json文件。本发明通过基于源数据表和目标数据表的表结构自动生成json文件从而解决了手动配置json文件效率低下且容易出错的问题。CN115964375ACN115964375A权利要求书1/2页1.一种用于DataX系统的json文件生成方法，其特征在于，包括：基于源数据库中的第一数据表和目标数据库中的第二数据表的表结构信息生成查询语句，其中，所述查询语句用于获取所述第一数据表和所述第二数据表中同时存在的字段，所述第二数据表是所述第一数据表从所述源数据库映射到所述目标数据库后形成的对应数据表；对所述同时存在的字段的每个字段获取所述字段在所述第二数据表中的字段类型；基于所述查询语句和所述字段类型生成所述json文件。2.根据权利要求1所述的方法，其特征在于，如果所述DataX系统被配置为大小写敏感，则所述生成查询语句之后还包括：将所述查询语句中的字段用所述第一数据表中的相应字段进行逐个替换。3.根据权利要求2所述的方法，其特征在于，所述获取所述字段在所述第二数据表中的字段类型之后还包括：如果所述字段类型是数值类型，则通过精度字段进一步判断所述字段的细分类型，并根据预设规则对所述细分类型进行格式转化。4.根据权利要求1所述的方法，其特征在于，所述获取所述第一数据表和所述第二数据表中同时存在的字段包括：通过内联所述第一数据表和所述第二数据表的字段信息记录表获取所述第一数据表和所述第二数据表中同时存在的字段，其中，所述字段信息记录表为预先基于所述第一数据表和所述第二数据表的表结构生成。5.根据权利要求1所述的方法，其特征在于，所述获取所述字段在所述第二数据表中的字段类型包括：通过字段类型映射表获取所述字段在所述第二数据表中的字段类型，其中，所述字段类型映射表为预先基于所述第一数据表和所述第二数据表的表结构生成。6.根据权利要求1所述的方法，其特征在于，所述生成查询语句包括：将所述第一数据表和所述第二数据表的的字段信息记录表同步到本地字段信息记录表；基于所述本地字段信息记录表生成所述查询语句。7.根据权利要求6所述的方法，其特征在于，所述生成查询语句包括：如果所述DataX系统被配置为自动映射，则通过所述第一数据表和所述第二数据表的表结构信息自动生成所述查询语句。8.一种用于DataX系统的json文件生成装置，其特征在于，包括：第一生成模块，用于基于源数据库中的第一数据表和目标数据库中的第二数据表的表结构信息生成查询语句，其中，所述查询语句用于获取所述第一数据表和所述第二数据表中同时存在的字段，所述第二数据表是所述第一数据表从所述源数据库映射到所述目标数据库后形成的对应数据表；获取模块，用于对所述同时存在的字段的每个字段获取所述字段在所述第二数据表中的字段类型；第二生成模块，用于基于所述查询语句和所述字段类型生成所述json文件。9.一种电子设备，其特征在于：包括存储器和处理器，2CN115964375A权利要求书2/2页所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现根据权利要求1‑7任一项所述的方法。10.一种计算机程序产品，其特征在于：包括计算机程序、指令，当所述计算机程序、指令被处理器执行时，实现根据权利要求1‑7任一项所述的方法。3CN115964375A说明书1/8页一种用于DataX系统的json文件