数据导出方法及装置、计算机可读存储介质及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113806305A(43)申请公布日2021.12.17(21)申请号202011063885.1G06F16/27(2019.01)(22)申请日2020.09.30G06F16/955(2019.01)(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人袁建棚(74)专利代理机构北京律智知识产权代理有限公司11438代理人王辉阚梓瑄(51)Int.Cl.G06F16/16(2019.01)G06F16/2453(2019.01)G06F16/2458(2019.01)权利要求书2页说明书14页附图6页(54)发明名称数据导出方法及装置、计算机可读存储介质及电子设备(57)摘要本公开涉及数据处理技术领域，提供了一种数据导出方法及装置、计算机可读存储介质和电子设备。其中，上述方法包括：响应于客户端的数据导出请求，获取导出参数信息，并生成待导出数据的导出文件标识，导出参数信息包括待导出数据的查询条件；通过异步线程获取待导出数据的导出路径，并根据导出路径和导出文件标识创建导出文件；异步线程根据待导出数据的查询条件分页查询待导出数据，按照分页查询的顺序将查询到的待导出数据写入到导出文件中，以生成目标导出文件。本方案基于异步线程和分页查询执行数据导出操作，可以避免一次性导出大数据量数据存在的内存溢出的问题，同时，可以提高数据导出的效率。CN113806305ACN113806305A权利要求书1/2页1.一种数据导出方法，其特征在于，包括：响应于客户端的数据导出请求，获取导出参数信息，并生成待导出数据的导出文件标识，所述导出参数信息包括所述待导出数据的查询条件；通过异步线程获取所述待导出数据的导出路径，并根据所述导出路径和所述导出文件标识创建导出文件；所述异步线程根据所述待导出数据的查询条件分页查询所述待导出数据，按照所述分页查询的顺序将查询到的所述待导出数据写入到所述导出文件中，以生成目标导出文件。2.根据权利要求1所述的数据导出方法，其特征在于，所述异步线程根据所述待导出数据的查询条件分页查询所述待导出数据包括：获取待导出数据量和预设的异步线程的数量；根据所述待导出数据量和所述预设的异步线程的数量，为各所述异步线程分配子待导出数据量；各所述异步线程并行的根据所述待导出数据的查询条件和所述子待导出数据量，分页查询子待导出数据；所述按照所述分页查询的顺序将查询到的所述待导出数据写入到所述导出文件中，以生成目标导出文件，包括：各所述异步线程按照所述分页查询的顺序，将查询到的子待导出数据分别写入到各所述异步线程所对应的子导出文件中；合并所述各子导出文件，以生成目标导出文件。3.根据权利要求2所述的数据导出方法，其特征在于，在将查询到的子待导出数据写入到各所述异步线程所对应的子导出文件中之前，所述方法还包括：根据所述导出文件标识和各所述异步线程的线程标识，生成各所述异步线程所对应的子导出文件标识；获取所述导出路径和所述子导出文件标识，以创建各所述异步线程所对应的子导出文件。4.根据权利要求3所述的数据导出方法，其特征在于，所述合并所述各子导出文件，以生成目标导出文件，包括：根据所述导出路径和各所述子导出文件标识读取各子导出文件；将读取到的各子导出文件写入到所述导出文件中，以生成目标导出文件。5.根据权利要求1所述的数据导出方法，其特征在于，所述导出参数信息还包括导出用户标识、导出时间中的至少一种；所述生成待导出数据的导出文件标识，包括：根据所述导出参数信息生成待导出数据的导出文件标识。6.根据权利要求1所述的数据导出方法，其特征在于，生成待导出数据的导出文件标识后，所述方法还包括：根据所述导出文件标识和所述导出参数信息生成目标导出任务；将所述目标导出任务写入导出任务信息表，并将所述目标导出任务的状态配置为导出中状态。7.根据权利要求1至6中任一项所述的数据导出方法，其特征在于，生成目标导出文件2CN113806305A权利要求书2/2页后，所述方法还包括：上传所述目标导出文件至存储平台；接收所述存储平台发送的所述目标导出文件的统一资源定位符；将所述统一资源定位符写入所述导出任务信息表，以关联所述统一资源定位符和所述导出文件标识。8.根据权利要求7所述的数据导出方法，其特征在于，所述方法还包括：当所述目标导出文件上传成功时，将所述导出文件标识所对应的目标导出任务的状态从导出中状态更新为成功状态；当所述目标导出文件上传失败时，将所述导出文件标识所对应的目标导出任务的状态从导出中状态更新为失败状态，并记录所述失败状态的失败标识，其中，所述失败标识包括导