数据采集方法及装置、计算机可读存储介质、电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111752916A(43)申请公布日2020.10.09(21)申请号201911403560.0(22)申请日2019.12.30(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人韩铭(74)专利代理机构北京律智知识产权代理有限公司11438代理人王辉阚梓瑄(51)Int.Cl.G06F16/21(2019.01)权利要求书2页说明书13页附图5页(54)发明名称数据采集方法及装置、计算机可读存储介质、电子设备(57)摘要本发明实施例是关于一种数据采集方法及装置、计算机可读存储介质、电子设备，涉及数据处理技术领域，该方法包括：接收终端设备通过消息队列上传的上报数据，并根据所述上报数据中包括的模版标识查询使用过与所述模版标识对应的第一数据采集模版的业务数据表；查询与所述业务数据表关联的第二数据采集模版，并判断与所述上报数据中包括的请求标识对应的所述第二数据采集模版所采集的目标数据是否完成上报；在确定所述目标数据完成上报时，从所述目标数据中提取目标变量值，并根据所述目标变量值所属的目标字段名，将所述目标变量值填充至所述业务数据表中得到目标数据表。本发明实施例提高了目标数据表的准确率。CN111752916ACN111752916A权利要求书1/2页1.一种数据采集方法，其特征在于，应用于服务器端，所述数据采集方法包括：接收终端设备通过消息队列上传的上报数据，并根据所述上报数据中包括的模版标识查询使用过与所述模版标识对应的第一数据采集模版的业务数据表；查询与所述业务数据表关联的第二数据采集模版，并判断与所述上报数据中包括的请求标识对应的所述第二数据采集模版所采集的目标数据是否完成上报；在确定所述目标数据完成上报时，从所述目标数据中提取目标变量值，并根据所述目标变量值所属的目标字段名，将所述目标变量值填充至所述业务数据表中得到目标数据表。2.根据权利要求1所述的数据采集方法，其特征在于，判断与所述上报数据中包括的请求标识对应的所述第二数据采集模版所采集的目标数据是否完成上报包括：根据所述目标数据中是否存在延迟处理标识，判断与所述上报数据中包括的请求标识对应的所述第二数据采集模版所采集的目标数据是否完成上报。3.根据权利要求2所述的数据采集方法，其特征在于，如果所述目标数据中不存在所述延迟处理标识，则所述目标数据完成上报；如果所述目标数据中存在所述延迟处理标识，则所述目标数据未完成上报。4.根据权利要求3所述的数据采集方法，其特征在于，所述数据采集方法还包括：在所述目标数据未完成上报时，对未完成上报的第二数据采集模版所采集的目标数据进行缓存，并计算所述目标数据的缓存时长；如果所述缓存时长小于预设时长，且所述目标数据中不存在所述延迟处理标识，则从所述目标数据中提取目标变量值，并根据所述目标变量值所属的目标字段名，将所述目标变量值填充至所述业务数据表中，得到目标数据表。5.根据权利要求4所述的数据采集方法，其特征在于，所述数据采集方法还包括：如果所述缓存时长大于预设时长，且所述目标数据中存在所述延迟处理标识，则进行如下处理：对于完成上报的目标数据：从所述目标数据中提取目标变量值，并根据所述目标变量值所属的目标字段名，将所述目标变量值填充至所述业务数据表中，得到第一子目标数据表；对未完成上报的目标数据：利用默认值对所述业务数据表进行填充，得到第二子目标数据表；根据所述第一子目标数据表以及第二子目标数据得到所述目标数据表。6.一种数据采集方法，其特征在于，应用于终端设备，所述数据采集方法包括：接收服务器端发送的数据采集请求，响应所述数据采集请求为所述数据采集请求配置请求标识；根据所述数据采集请求中包括的应用程序，调用与所述应用程序对应的数据采集模版；其中，所述应用程序与所述数据采集模版具有映射关系，一个所述应用程序映射有一个或者多个数据采集模版；将所述数据采集模版的目标变量值、模版标识以及所述请求标识发送至消息队列中，以使得所述消息队列根据所述目标变量值、模版标识以及所述请求标识生成上报数据，并将所述上报数据上传至所述服务器端，以使得服务器端根据所述上报数据得到目标数据2CN111752916A权利要求书2/2页表。7.根据权利要求6所述的数据采集方法，其特征在于，所述数据采集方法还包括：在确定所述数据采集模版发生变化时，对所述数据采集模版进行解析得到当前解析结果；对所述当前解析结果以及历史解析结果进行比对，得到所述数据采集模版的新增和/或删除的类；在所述新增和/或删除的类中添加和/或移除数据采集逻辑。8.一种数据采集装置，其特征在于，应用于服务