数据库同步到数据仓库的方法、装置和电子装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114185907A(43)申请公布日2022.03.15(21)申请号202111510723.2(22)申请日2021.12.10(71)申请人杭州浮云网络科技有限公司地址310006浙江省杭州市下城区华电弄78号306室(72)发明人顾伟涛王跃剑曹彩鹏周游刘培锴陈斐(74)专利代理机构杭州华进联浙知识产权代理有限公司33250代理人储照良(51)Int.Cl.G06F16/23(2019.01)G06F16/27(2019.01)G06F16/28(2019.01)权利要求书2页说明书9页附图3页(54)发明名称数据库同步到数据仓库的方法、装置和电子装置(57)摘要本申请涉及一种数据库同步到数据仓库的方法、装置和电子装置，其中，该数据库同步到数据仓库的方法包括：获取数据库目标数据，所述数据库目标数据为数据库格式的数据；对所述数据库目标数据进行格式转换，得到数据仓库目标数据，所述数据仓库目标数据为数据仓库格式的数据；基于所述数据仓库目标数据得到数据仓库，并判断所述数据仓库中的数据量是否和数据库中的数据量一致。通过本申请，解决了相关技术中存在数据库同步到数据仓库的效率较低，无法满足大规模的数据同步场景的技术问题，提高了数据库同步到数据仓库的效率。CN114185907ACN114185907A权利要求书1/2页1.一种数据库同步到数据仓库的方法，其特征在于，包括：获取数据库目标数据，所述数据库目标数据为数据库格式的数据；对所述数据库目标数据进行格式转换，得到数据仓库目标数据，所述数据仓库目标数据为数据仓库格式的数据；基于所述数据仓库目标数据得到数据仓库，并判断所述数据仓库中的数据量是否和数据库中的数据量一致。2.根据权利要求1所述的数据库同步到数据仓库的方法，其特征在于，所述数据库目标数据至少包括：数据库表名、数据库字段名以及数据库字段属性。3.根据权利要求1所述的数据库同步到数据仓库的方法，其特征在于，所述基于所述数据仓库目标数据得到数据仓库包括：获取数据仓库初始参数以及同步参数，所述数据仓库初始参数至少包括：数据仓库地址、数据仓库端口、数据仓库名、数据仓库表名，所述同步参数至少包括全量同步参数和增量同步参数；基于所述数据仓库初始参数、同步参数以及数据仓库目标数据生成所述数据仓库。4.根据权利要求1所述的数据库同步到数据仓库的方法，其特征在于，所述对所述数据库目标数据进行格式转换，得到数据仓库目标数据包括：基于所述数据库目标数据以及预设转换规则生成逻辑业务代码；调用所述逻辑业务代码，得到所述数据仓库目标数据。5.根据权利要求4所述的数据库同步到数据仓库的方法，其特征在于，所述预设转换规则至少包括：字符大小转换规则、数据库表名转换规则、数据库字段名转换规则以及数据库字段属性转换规则。6.根据权利要求1所述的数据库同步到数据仓库的方法，其特征在于，所述获取数据库目标数据包括：获取数据库初始参数以及数据库类型，所述数据库初始参数至少包括：数据库地址、数据库端口、数据库名以及数据库表名；基于所述数据库类型选择对应的数据库操作代码；基于所述数据库操作代码以及数据库初始参数获取所述数据库目标数据。7.根据权利要求1所述的数据库同步到数据仓库的方法，其特征在于，所述基于所述数据仓库目标数据得到数据仓库之后还包括：设置时间点阈值，并判断所述数据仓库数据的生成时间是否在所述时间点阈值之前；若在所述时间点阈值之前，则删除所述数据仓库的数据。8.一种数据库同步到数据仓库的装置，其特征在于，包括：获取模块，用于获取数据库目标数据，所述数据库目标数据为数据库格式的数据；转换模块，对所述数据库目标数据进行格式转换，得到数据仓库目标数据，所述数据仓库目标数据为数据仓库格式的数据；校验模块，用于基于所述数据仓库目标数据得到数据仓库，并判断所述数据仓库中的数据量是否和数据库中的数据量一致。9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的数据库2CN114185907A权利要求书2/2页同步到数据仓库的方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的数据库同步到数据仓库的方法的步骤。3CN114185907A说明书1/9页数据库同步到数据仓库的方法、装置和电子装置技术领域[0001]本申请涉及数据处理领域，特别是涉及数据库同步到数据仓库的方法、装置和电子装置。背景技术[0002]随着信息技术的不断发展，数据库的应用越来越广泛。由于数据量往往比较庞大，数据库中可能存在千万条、上亿条数据。数据的来源往往也