数据处理方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN105701257A(43)申请公布日2016.06.22(21)申请号201610201846.0(22)申请日2016.03.31(71)申请人北京奇虎科技有限公司地址100088北京市西城区新街口外大街28号D座112室（德胜园区）申请人奇智软件（北京）有限公司(72)发明人郭军(74)专利代理机构北京睿邦知识产权代理事务所(普通合伙)11481代理人徐丁峰张玮(51)Int.Cl.G06F17/30(2006.01)G06F9/48(2006.01)权利要求书2页说明书10页附图5页(54)发明名称数据处理方法和装置(57)摘要本发明公开了一种数据处理方法和装置。该数据处理方法包括：接收任务失败数据并对其进行分类，其中，所述任务失败数据用于指示与数据库中的数据操作相关的失败任务；将所述任务失败数据分别存储到与其所属类别相对应的消息队列中；以及利用与每个消息队列相对应的消费者进程消费并处理该消息队列中的任务失败数据。根据本发明实施例的数据处理方法和装置，将任务失败数据进行分类，由与任务失败数据所属类别相对应的消费者进程处理任务失败数据，这样可以提高对任务失败数据的处理速度，避免任务失败数据长期留存在消息队列中，从而可以缓解消息队列的存储压力。CN105701257ACN105701257A权利要求书1/2页1.一种数据处理方法，包括：接收任务失败数据并对其进行分类，其中，所述任务失败数据用于指示与数据库中的数据操作相关的失败任务；将所述任务失败数据分别存储到与其所属类别相对应的消息队列中；以及利用与每个消息队列相对应的消费者进程消费并处理该消息队列中的任务失败数据。2.如权利要求1所述的数据处理方法，其特征在于，在所述利用与每个消息队列相对应的消费者进程消费并处理该消息队列中的任务失败数据之前，所述数据处理方法进一步包括：为所述消息队列平均分配消费者进程。3.如权利要求1或2所述的数据处理方法，其特征在于，所述数据处理方法进一步包括：监测所述消息队列中的至少部分消息队列中的任务失败数据的数据量；以及基于所述至少部分消息队列中的任务失败数据的数据量调整与所述至少部分消息队列相对应的消费者进程的数目。4.如权利要求3所述的数据处理方法，其特征在于，所述基于所述至少部分消息队列中的任务失败数据的数据量调整与所述至少部分消息队列相对应的消费者进程的数目包括：如果所述至少部分消息队列中的特定消息队列中的任务失败数据的数据量大于第一阈值并且所述至少部分消息队列中的其他消息队列中的任务失败数据的数据量小于第二阈值，则将与所述其他消息队列相对应的消费者进程的数目减少特定数目并将与所述特定消息队列相对应的消费者进程的数目增加所述特定数目。5.如权利要求1或2所述的数据处理方法，其特征在于，所述数据处理方法进一步包括：接收与特定消息队列相关的进程调整指令；以及根据所述进程调整指令调整与所述特定消息队列相对应的消费者进程的数目。6.如权利要求1所述的数据处理方法，其特征在于，所述利用与每个消息队列相对应的消费者进程消费并处理该消息队列中的任务失败数据包括：利用与每个消息队列相对应的消费者进程重新执行该消息队列中的任务失败数据所指示的失败任务。7.如权利要求6所述的数据处理方法，其特征在于，所述数据处理方法进一步包括：监测所述数据库的运行状态；所述利用与每个消息队列相对应的消费者进程重新执行该消息队列中的任务失败数据所指示的失败任务包括：当所述数据库的运行状态从异常状态转变为正常状态时，利用与每个消息队列相对应的消费者进程重新执行该消息队列中的任务失败数据所指示的失败任务。8.如权利要求1至7任一项所述的数据处理方法，其特征在于，所述接收任务失败数据并对其进行分类包括：接收所述任务失败数据并根据所述任务失败数据所指示的失败任务的类型对所述任务失败数据进行分类。9.如权利要求1至8任一项所述的数据处理方法，其特征在于，所述消息队列设置于内存中。2CN105701257A权利要求书2/2页10.一种数据处理装置，包括：分类模块，用于接收任务失败数据并对其进行分类，其中，所述任务失败数据用于指示与数据库中的数据操作相关的失败任务；存储模块，用于将所述任务失败数据分别存储到与其所属类别相对应的消息队列中；以及处理模块，用于利用与每个消息队列相对应的消费者进程消费并处理该消息队列中的任务失败数据。3CN105701257A说明书1/10页数据处理方法和装置技术领域[0001]本发明涉及计算机技术领域，具体涉及一种数据处理方法和装置。背景技术[0002]随着计算机技术的飞速发展，在许多应用领域，存在越来越多的需要管理的数据，诸如用户信息数据、系统日志数据等。通常采用数据库对这些数