一种读取数据的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112749204A(43)申请公布日2021.05.04(21)申请号201911055043.9(22)申请日2019.10.31(71)申请人北京沃东天骏信息技术有限公司地址100176北京市北京经济技术开发区科创十一街18号院2号楼4层A402室(72)发明人安金龙刘业辉张宁高相斌张增李晨(74)专利代理机构中原信达知识产权代理有限责任公司11219代理人张一军王安娜(51)Int.Cl.G06F16/2458(2019.01)G06F16/27(2019.01)权利要求书2页说明书10页附图5页(54)发明名称一种读取数据的方法和装置(57)摘要本发明公开了一种读取数据的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：每隔预设时间批次间隔从消息系统中读取数据，并生成时间片数据；分别将各个时间片数据转换成弹性分布式数据集，将各个弹性分布式数据集的标识及其对应的时间片数据的数据条数存储到批数据集合中；待完成一个弹性分布式数据集的业务逻辑计算之后，将标识最小的弹性分布式数据集及其对应的时间片数据的数据条数从所述批数据集合中删除；基于所述批数据集合中的记录数和预设积压批次阈值分析数据积压情况。该实施方式能够解决无法准确地判断数据积压情况的技术问题。CN112749204ACN112749204A权利要求书1/2页1.一种读取数据的方法，其特征在于，包括：每隔预设时间批次间隔从消息系统中读取数据，并生成时间片数据；分别将各个时间片数据转换成弹性分布式数据集，将各个弹性分布式数据集的标识及其对应的时间片数据的数据条数存储到批数据集合中；待完成一个弹性分布式数据集的业务逻辑计算之后，将标识最小的弹性分布式数据集及其对应的时间片数据的数据条数从所述批数据集合中删除；基于所述批数据集合中的记录数和预设积压批次阈值分析数据积压情况。2.根据权利要求1所述的方法，其特征在于，将各个弹性分布式数据集的标识及其对应的时间片数据的数据条数存储到批数据集合中，包括：以弹性分布式数据集的标识为键、且以所述弹性分布式数据集对应的时间片数据的数据条数为值，存储到批数据集合中。3.根据权利要求2所述的方法，其特征在于，所述弹性分布式数据集的标识以自增方式生成。4.根据权利要求3所述的方法，其特征在于，待完成一个弹性分布式数据集的业务逻辑计算之后，将标识最小的弹性分布式数据集及其对应的时间片数据的数据条数从所述批数据集合中删除，包括：每完成一个弹性分布式数据集的业务逻辑计算之后，按照标识的大小对各个弹性分布式数据集进行升序排序或者降序排序；将标识最小的弹性分布式数据集及其对应的时间片数据的数据条数从所述批数据集合中删除。5.根据权利要求4所述的方法，其特征在于，基于所述批数据集合中的记录数和预设积压批次阈值分析数据积压情况，包括：判断所述批数据集合中的记录数是否大于等于预设积压批次阈值；若是，则将所述批数据集合中的记录数发送至预设联系人。6.根据权利要求1所述的方法，其特征在于，所述时间片数据的信息包括所述数据在所述消息系统中的开始位点、结束位点以及所述数据的条数；每隔预设时间批次间隔从消息系统中读取数据之后，还包括：将所述结束位点上报至所述消息系统。7.根据权利要求1所述的方法，其特征在于，在基于所述批数据集合中的记录数和预设积压批次阈值分析数据积压情况之前，还包括：根据预设时间批次间隔和预设延迟最大时长，设置积压批次阈值。8.一种读取数据的装置，其特征在于，包括：获取模块，用于每隔预设时间批次间隔从消息系统中读取数据，并生成时间片数据；转换模块，用于分别将各个时间片数据转换成弹性分布式数据集，将各个弹性分布式数据集的标识及其对应的时间片数据的数据条数存储到批数据集合中；删除模块，用于待完成一个弹性分布式数据集的业务逻辑计算之后，将标识最小的弹性分布式数据集及其对应的时间片数据的数据条数从所述批数据集合中删除；分析模块，用于基于所述批数据集合中的记录数和预设积压批次阈值分析数据积压情况。2CN112749204A权利要求书2/2页9.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。3CN112749204A说明书1/10页一种读取数据的方法和装置技术领域[0001]本发明涉及计算机技术领域，尤其涉及一种读取数据的方法和装置。背景技术[0002]随着大数据的快速发展，业务场景越来越复杂，离线式的批处理框架M