数据处理方法、装置、电子设备和计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114254037A(43)申请公布日2022.03.29(21)申请号202111459660.2(22)申请日2021.12.02(71)申请人北京人大金仓信息技术股份有限公司地址100102北京市朝阳区容达路7号院5号楼1至3层101内二层201(72)发明人王凯龙(74)专利代理机构北京开阳星知识产权代理有限公司11710代理人唐博(51)Int.Cl.G06F16/27(2019.01)G06F16/2455(2019.01)G06F9/54(2006.01)权利要求书2页说明书11页附图5页(54)发明名称数据处理方法、装置、电子设备和计算机可读存储介质(57)摘要本公开实施例提供一种数据处理方法、装置、电子设备和计算机可读存储介质，涉及数据处理领域。该方法通过获取的目标读取线程在源端数据库中读取目标数据，对读取的目标数据进行处理，得到多个目标数据包；获取所述多个目标数据包对应的目标写出线程组；基于所述目标写出线程组中的多个目标写出线程，将所述多个目标数据包中的数据写入目标数据库。在本公开实施例提供的数据处理方法中，使用了一个目标读取线程读取源端数据库中的目标数据，多个目标写出线程在目标数据库中进行目标数据的写入，提高了目标数据迁移的效率。CN114254037ACN114254037A权利要求书1/2页1.一种数据处理方法，其特征在于，包括：获取目标读取线程，基于所述目标读取线程在源端数据库中读取目标数据；对所述目标读取线程在源端数据库中读取的目标数据进行处理，得到多个目标数据包；获取所述多个目标数据包对应的目标写出线程组；基于所述目标写出线程组中的多个目标写出线程，将所述多个目标数据包中的数据写入目标数据库。2.根据权利要求1所述的方法，其特征在于，所述对所述目标读取线程在源端数据库中读取的目标数据进行处理，得到多个目标数据包，包括：基于所述目标读取线程，对所述读取的目标数据以预设规则进行封装，得到多个封装数据包；将所述封装数据包缓存至所述目标读取线程对应的输出队列，得到所述多个目标数据包。3.根据权利要求2所述的方法，其特征在于，所述基于所述目标读取线程，对所述读取的目标数据以预设规则进行封装，得到多个封装数据包，包括：获取所述读取的目标数据的数据量；根据所述预设规则和所述读取的目标数据的数据量，对所述读取的目标数据进行封装，得到所述多个封装数据包；其中，各封装数据包中的数据量为所述预设规则对应的预设数据量。4.根据权利要求1所述的方法，其特征在于，所述基于所述目标写出线程组中的多个目标写出线程，将所述多个目标数据包中的数据写入目标数据库，包括：获取所述目标写出线程组中各目标写出线程对应的输入队列；将所述多个目标数据包分配至各目标写出线程对应的输入队列；基于各目标写出线程，将分配至各目标写出线程对应的输入队列的目标数据包中的数据写入所述目标数据库。5.根据权利要求4所述的方法，其特征在于，所述将所述多个目标数据包分配至各目标写出线程对应的输入队列，包括：获取动态分配线程，所述动态分配线程用于对所述输出队列中的所述多个目标数据包进行读取；基于所述动态分配线程，将读取的目标数据包分配至各目标写出线程对应的输入队列。6.根据权利要求4或5所述的方法，其特征在于，所述基于各目标写出线程，将分配至各目标写出线程对应的输入队列的目标数据包中的数据写入所述目标数据库，包括：通过各目标写出线程，对分配至所述各目标写出线程对应的输入队列中的目标数据包进行读取；对各目标写出线程从对应的输入队列中读取的目标数据包进行拆包处理，得到各目标写出线程对应的待装载数据；通过各目标写出线程，将各目标写出线程对应的待装载数据写入所述目标数据库。7.根据权利要求5所述的方法，其特征在于，所述基于所述动态分配线程，将读取的目2CN114254037A权利要求书2/2页标数据包分配至各目标写出线程对应的输入队列，包括：实时获取各目标写出线程对应的输入队列的输入队列长度；对比获取的各输入队列的输入队列长度，确定所述输入队列长度最短的输入队列；将读取的目标数据包分配至所述输入队列长度最短的输入队列。8.一种数据处理装置，其特征在于，包括：获取模块，用于获取目标读取线程，基于所述目标读取线程在源端数据库中读取目标数据；处理模块，用于对所述目标读取线程在源端数据库中读取的目标数据进行处理，得到多个目标数据包；所述获取模块，还用于获取所述多个目标数据包对应的目标写出线程组；装载模块，用于基于所述目标写出线程组中的多个目标写出线程，将所述多个目标数据包中的数据写入目标数据库。9.一种电子设备，包括：存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时