从数据库抽取数据的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108121728A(43)申请公布日2018.06.05(21)申请号201611076450.4(22)申请日2016.11.29(71)申请人北京京东尚科信息技术有限公司地址100195北京市海淀区杏石口路65号西杉创意园四区11号楼东段1-4层西段1-4层申请人北京京东世纪贸易有限公司(72)发明人颜博葛胜利王建辉(74)专利代理机构中原信达知识产权代理有限责任公司11219代理人张一军姜劲(51)Int.Cl.G06F17/30(2006.01)权利要求书2页说明书4页附图1页(54)发明名称从数据库抽取数据的方法和装置(57)摘要本发明提供一种灵活性好，资源利用率高的从数据库抽取数据的方法和装置。本发明的从数据库抽取数据的方法，包括：按照预设轮询周期定期地获取数据库当前平均数据记录数值，当前平均数据记录数值表示单位时间内该数据库中出现的数据记录的数量；根据当前平均数据记录数值确定数据抽取周期；根据数据抽取周期执行从所述数据库中抽取数据操作。CN108121728ACN108121728A权利要求书1/2页1.一种从数据库抽取数据的方法，其特征在于，包括：按照预设轮询周期定期地获取数据库当前平均数据记录数值，所述当前平均数据记录数值表示单位时间内该数据库中出现的数据记录的数量；根据所述当前平均数据记录数值确定数据抽取周期；根据所述数据抽取周期执行从所述数据库中抽取数据操作。2.根据权利要求1所述的从数据库抽取数据的方法，其特征在于，所述按照预设轮询周期定期地获取数据库当前平均数据记录数值的步骤包括：按照预设轮询周期定期地获取未被抽取数据记录的数量；获取历史最近抽取操作时刻至当前时刻之间的时间长度；将所述未被抽取数据记录的数量除以所述时间长度，以得到所述当前平均数据记录数值。3.根据权利要求1所述的从数据库抽取数据的方法，其特征在于，所述根据所述当前平均数据记录数值确定数据抽取周期的步骤包括：设置多段平均数据数值预设范围以及各段平均数据数值预设范围分别对应的多档数据抽取预设周期；确定所述当前平均数据记录数值对应的所述平均数据数值预设范围；将所述对应的平均数据数值预设范围对应的所述数据抽取预设周期作为所述数据抽取周期。4.根据权利要求1所述的从数据库抽取数据的方法，其特征在于，所述预设轮询周期小于所述数据抽取周期。5.一种从数据库抽取数据的装置，其特征在于，包括：获取模块，用于按照预设轮询周期定期地获取数据库当前平均数据记录数值，所述当前平均数据记录数值表示单位时间内该数据库中出现的数据记录的数量；确定模块，用于根据所述当前平均数据记录数值确定数据抽取周期；抽取模块，用于根据所述数据抽取周期执行从所述数据库中抽取数据操作。6.根据权利要求5所述的从数据库抽取数据的装置，其特征在于，所述获取模块还用于：按照预设轮询周期定期地获取未被抽取数据记录的数量；获取历史最近抽取操作时刻至当前时刻之间的时间长度；将所述未被抽取数据记录的数量除以所述时间长度，以得到所述当前平均数据记录数值。7.根据权利要求5所述的从数据库抽取数据的装置，其特征在于，所述确定模块还用于：设置多段平均数据数值预设范围以及各段平均数据数值预设范围分别对应的多档数据抽取预设周期；确定所述当前平均数据记录数值对应的所述平均数据数值预设范围；将所述对应的平均数据数值预设范围对应的所述数据抽取预设周期作为所述数据抽取周期。8.根据权利要求5所述的从数据库抽取数据的装置，其特征在于，所述预设轮询周期小2CN108121728A权利要求书2/2页于所述数据抽取周期。3CN108121728A说明书1/4页从数据库抽取数据的方法和装置技术领域[0001]本发明涉及一种计算机以及软件技术领域，具体涉及从数据库抽取数据的方法和装置。背景技术[0002]数据抽取是指从源数据系统(业务系统)的数据库抽取数据，并将数据加载到目标系统中去以满足后续的各类数据应用的过程。目前的数据抽取方法大部分都是固定周期进行抽取。所谓固定周期，也可以理解为固定频率，是指在固定的时间对数据进行抽取，常见的有按天或者按小时采用T+1方式进行抽取。其中，按天T+1抽取可以理解为在当天抽取前一天发生数据，按小时T+1抽取可以理解为当前一小时抽取前一小时发生的数据。[0003]按照固定时间间隔抽取数据具有不够灵活的弊端。特别针对电商这种业务变化快，业务系统数据时间量分布不规律更加不适应。以电商的订单数据举例，在节假日期间，订单的业务数量是很小的，但是在重大促销日里的数据量很大，如果始终按照一种时间间隔固定抽取进行抽取容易造成如下问题：[0004](1)空闲资源的浪费，在数据量小时的时候如果选择按较小周期进行抽取会造成资源的大量浪费。