数据迁移方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112783856A(43)申请公布日2021.05.11(21)申请号201911104799.8(22)申请日2019.11.07(71)申请人北京沃东天骏信息技术有限公司地址100176北京市北京经济技术开发区科创十一街18号院2号楼4层A402室(72)发明人黎泽(74)专利代理机构中原信达知识产权代理有限责任公司11219代理人张效荣王志远(51)Int.Cl.G06F16/21(2019.01)G06F16/11(2019.01)G06F16/25(2019.01)权利要求书2页说明书8页附图2页(54)发明名称数据迁移方法和装置(57)摘要本发明公开了一种数据迁移方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：确定关系型数据库中待迁移的至少一条数据记录；从关系型数据库中读取所述数据记录，并将每一数据记录转换为符合文档型数据库存储格式的数据文档；将转换得到的数据文档写入文档型数据库。该实施方式能够提高从关系型数据库到文档型数据库的数据迁移效率。CN112783856ACN112783856A权利要求书1/2页1.一种数据迁移方法，用于将关系型数据库中的数据迁移到文档型数据库；其特征在于，所述方法包括：确定关系型数据库中待迁移的至少一条数据记录；从关系型数据库中读取所述数据记录，并将每一数据记录转换为符合文档型数据库存储格式的数据文档；以及将转换得到的数据文档写入文档型数据库。2.根据权利要求1所述的方法，其特征在于，确定关系型数据库中待迁移的至少一条数据记录，包括：通过结构化查询语言SQL语句确定关系型数据库中待迁移的至少一条数据记录。3.根据权利要求1所述的方法，其特征在于，从关系型数据库中读取所述数据记录，包括：创建至少一个数据读取线程，为每一数据读取线程分配需要读取的数据记录标识；利用所述数据读取线程从关系型数据库中并行读取所述数据记录。4.根据权利要求1所述的方法，其特征在于，将每一数据记录转换为符合文档型数据库存储格式的数据文档，包括：针对每一数据记录中的每一字段：保持该字段的字段值不变，依据预先建立的、关系型数据库与文档型数据库之间的字段名映射关系将该字段的字段名更新为文档型数据库中的字段名；将每一更新后的字段名与其对应的字段值组合为所述数据文档。5.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：在将每一数据记录转换为符合文档型数据库存储格式的数据文档之后，将所述数据文档发送到预先建立的消息队列中；以及，将转换得到的数据文档写入文档型数据库，包括：创建至少一个数据写入线程，利用所述数据写入线程从所述消息队列中获取所述数据文档并将所述数据文档写入文档型数据库。6.根据权利要求1-5任一所述的方法，其特征在于，所述关系型数据库包括MySQL或Oracle，所述文档型数据库包括MongoDB或CouchDB。7.一种数据迁移装置，用于将关系型数据库中的数据迁移到文档型数据库；其特征在于，所述装置包括：数据查询单元，用于确定关系型数据库中待迁移的至少一条数据记录；数据转换单元，用于从关系型数据库中读取所述数据记录，并将每一数据记录转换为符合文档型数据库存储格式的数据文档；以及数据写入单元，用于将转换得到的数据文档写入文档型数据库。8.根据权利要求7所述的装置，其特征在于，数据转换单元进一步用于：针对每一数据记录中的每一字段：保持该字段的字段值不变，依据预先建立的、关系型数据库与文档型数据库之间的字段名映射关系将该字段的字段名更新为文档型数据库中的字段名；将每一更新后的字段名与其对应的字段值组合为所述数据文档。9.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，2CN112783856A权利要求书2/2页当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。3CN112783856A说明书1/8页数据迁移方法和装置技术领域[0001]本发明涉及计算机技术领域，尤其涉及一种数据迁移方法和装置。背景技术[0002]随着大数据技术的发展，需要将关系型数据库中的数据迁移到非关系型数据库如文档型数据库中。现有的数据迁移方案中，首先需要将关系型数据库中待迁移的数据存储为本地逗号分隔值CSV(Comma-SeparatedValues)文件，之后将本地文件切片并以串行的方式读取并转换为文档型数据库所要求的格式，最后写入文档型数据库。其中，上述本地对应于执行数据迁移的电子设备，该电子设备既不同于关系型数据库所在的电子