数据处理方法、装置、电子设备及可读存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115757456A(43)申请公布日2023.03.07(21)申请号202211510090.X(22)申请日2022.11.29(71)申请人中国农业银行股份有限公司地址100005北京市东城区建国门内大街69号(72)发明人杨红强王宏亮薛羽吕虎(74)专利代理机构北京集佳知识产权代理有限公司11227专利代理师卫三娟(51)Int.Cl.G06F16/23(2019.01)G06F16/22(2019.01)G06F16/27(2019.01)权利要求书3页说明书14页附图6页(54)发明名称数据处理方法、装置、电子设备及可读存储介质(57)摘要本申请公开一种数据处理方法、装置、电子设备及可读存储介质。该方法包括：获取基于源数据库中的源数据表生成的文本文件，该文本文件包括源数据表中的增量数据和源数据表的结构信息；确定出所述源数据库和目标数据库的类型；如果源数据库和目标数据库的类型不同，则基于源数据库和目标数据库的字段类型之间的对应关系，将源数据表的结构信息中的字段类型替换为目标数据库中对应的字段类型；根据源数据表当前的结构信息更新目标数据表的结构信息；基于目标数据表更新后的结构信息更新目标数据表的结构；将增量数据导入目标数据表。基于本申请公开的技术方案，能够避免由于源数据表的表结构变动所导致的数据同步过程中的数据导入错误。CN115757456ACN115757456A权利要求书1/3页1.一种数据处理方法，其特征在于，应用于电子设备，所述方法包括：获取文本文件，所述文本文件基于源数据库中的源数据表生成，其中，所述文本文件包括所述源数据表中的增量数据、以及所述源数据表的结构信息，所述结构信息包括所述源数据表中各列的字段信息，所述字段信息包括字段名称、字段类型和字段属性；确定出所述源数据库的类型；确定出目标数据表所在目标数据库的类型；如果所述源数据库和所述目标数据库的类型不同，则基于所述源数据库和所述目标数据库的字段类型之间的对应关系，将所述源数据表的结构信息中的字段类型替换为所述目标数据库中对应的字段类型；根据所述源数据表当前的结构信息更新所述目标数据表的结构信息；基于所述目标数据表更新后的结构信息更新所述目标数据表的结构；将所述增量数据导入所述目标数据表。2.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述源数据表当前的结构信息更新目标数据表的结构信息，包括：比较所述源数据表和所述目标数据表的结构信息中的第i条字段信息，其中，i为字段信息所处的次序，i的取值依次为1,2,…N，N为所述源数据包的结构信息所包含字段信息的数量；如果所述源数据表的结构信息中的第i条字段信息与所述目标数据表的结构信息中的第i条字段信息的字段名称不同，则将所述源数据表的结构信息中的第i条字段信息插入所述目标数据表的结构信息中，作为所述目标数据表的结构信息中的新的第i条字段信息，比较所述源数据表和所述目标数据表的结构信息中的下一条字段信息；如果所述源数据表的结构信息中的第i条字段信息与所述目标数据表的结构信息中的第i条字段信息的字段名称相同，而字段类型和字段属性中的至少一个不同，则将所述目标数据表的结构信息中的第i条字段信息替换为所述源数据表的结构信息中的第i条字段信息，比较所述源数据表和所述目标数据表的结构信息中的下一条字段信息；如果所述源数据表的结构信息中的第i条字段信息与所述目标数据表的结构信息中的第i条字段信息的字段名称、字段类型和字段属性均相同，则比较所述源数据表和所述目标数据表的结构信息中的下一条字段信息。3.根据权利要求2所述的数据处理方法，其特征在于，所述根据所述源数据表当前的结构信息更新目标数据表的结构信息，还包括：针对所述目标数据表的结构信息中新插入和替换后的每条字段信息，比较所述字段信息中的字段属性和所述目标数据库针对所述字段信息中的字段类型所支持的属性上限值，如果超出所述属性上限值，则参考所述属性上限值修改所述字段信息中的字段属性。4.根据权利要求1、2或3所述的数据处理方法，其特征在于，所述确定出所述源数据库的类型，包括：获得所述本文文件的名称；基于所述文本文件的名称包含的数据库标识，确定出所述源数据库的类型。5.根据权利要求1、2或3所述的数据处理方法，其特征在于，所述源数据表的结构信息位于所述文本文件的指定位置，所述结构信息中的各条字段信息之间以预设分隔符进行分2CN115757456A权利要求书2/3页隔。6.一种数据处理装置，其特征在于，应用于电子设备，所述数据处理装置包括：文件获取模块，用于获取文本文件，所述文本文件基于源数据库中的源数据表生成，其中，所述文本文件包括所述源数据表中的增量数据、以及所述源数据表的结构信息，所述结构信息包括