预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共19页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115438056A(43)申请公布日2022.12.06(21)申请号202211062512.1(22)申请日2022.09.01(71)申请人中国农业银行股份有限公司地址100005北京市东城区建国门内大街69号(72)发明人周畅(74)专利代理机构北京品源专利代理有限公司11332专利代理师蔡舒野(51)Int.Cl.G06F16/23(2019.01)G06F16/27(2019.01)G06F16/22(2019.01)权利要求书2页说明书11页附图5页(54)发明名称一种数据获取方法、装置、设备以及存储介质(57)摘要本发明公开了一种数据获取方法、装置、设备以及存储介质。该方法包括:响应于目标数据获取请求,若待获取数据的数据获取方式为非实时获取方式,则根据目标数据获取请求,将目标数据获取请求对应的目标数据获取任务划分为至少两个子任务,并为每个子任务生成对应的备选数据获取请求;根据所述备选数据获取请求,并发控制至少两个工作线程基于对应HashMap内锁,将各子任务对应的备选数据获取请求发送至对应的ES集群,获取至少两个备选数据;根据所述至少两个备选数据,确定目标获取数据。本发明提供的方案,可以根据数据的获取方式,确定对应的数据获取策略,同时利用多线程并发,实现目标数据的快速有效获取。CN115438056ACN115438056A权利要求书1/2页1.一种数据获取方法,其特征在于,包括:响应于目标数据获取请求,若待获取数据的数据获取方式为非实时获取方式,则根据目标数据获取请求,将目标数据获取请求对应的目标数据获取任务划分为至少两个子任务,并为每个子任务生成对应的备选数据获取请求;根据所述备选数据获取请求,并发控制至少两个工作线程基于对应的HashMap内锁,将各子任务对应的备选数据获取请求发送至对应的ES集群,获取至少两个备选数据;根据所述至少两个备选数据,确定目标获取数据。2.根据权利要求1所述的方法,其特征在于,响应于目标数据获取请求,若待获取数据的数据获取方式为非实时获取方式,则根据目标数据获取请求,将目标数据获取请求对应的目标数据获取任务划分为至少两个子任务,并为每个子任务生成对应的备选数据获取请求,包括:响应于目标数据获取请求,确定待获取数据的数据获取方式;所述数据获取方式包括:非实时获取方式和实时获取方式;若待获取数据的数据获取方式为非实时获取方式,则根据目标数据获取请求,确定目标数据获取任务和至少两个指标;根据所述指标的数量,将所述目标数据获取任务划分为至少两个子任务,并为每个子任务生成对应的备选数据获取请求。3.根据权利要求2所述的方法,其特征在于,其中,指标包括如下至少一项:数据接入方式、索引日志发送分区网段以及索引所属系统。4.根据权利要求1所述的方法,其特征在于,根据所述备选数据获取请求,并发控制至少两个工作线程基于对应的HashMap内锁,将各子任务对应的备选数据获取请求发送至对应的ES集群,获取至少两个备选数据,包括:根据所述备选数据获取请求,确定各子任务对应的ES集群编号和HashMap内锁编号;根据所述子任务的数量,确定需要调用的工作线程数量;根据所述ES集群编号和所述HashMap内锁编号,并发控制至少两个工作线程基于对应的HashMap内锁,将各子任务对应的备选数据获取请求发送至对应的ES集群,获取备选数据。5.根据权利要求1所述的方法,其特征在于,还包括:响应于目标数据获取请求,若待获取数据的数据获取方式为实时获取,则确定待获取数据关联的至少两个数据源;针对每个数据源,确定至少两个工作线程;控制至少两个工作线程并发执行聚合、查询或选择操作,并获取各工作线程反馈的至少两个备选数据;根据所述至少两个备选数据,确定目标获取数据。6.根据权利要求5所述的方法,其特征在于,控制至少两个工作线程并发执行聚合、查询或选择操作,并获取各工作线程反馈的至少两个备选数据,包括:利用CountDownLatch计数器,在检测到至少两个工作线程并发执行聚合、查询或选择操作完毕的情况下,获取各工作线程反馈的至少两个备选数据。7.根据权利要求1所述的方法,其特征在于,根据所述至少两个备选数据,确定目标获2CN115438056A权利要求书2/2页取数据,包括:对所述至少两个备选数据执行处理操作,生成目标获取数据;所述处理操作包括合并和/或筛选操作。8.一种数据获取装置,其特征在于,包括:生成模块,用于响应于目标数据获取请求,若待获取数据的数据获取方式为非实时获取方式,则根据目标数据获取请求,将目标数据获取请求对应的目标数据获取任务划分为至少两个子任务,并为每个子任务生成对应的备选数据获取请求;第一获取模块,用于根据所述备选数据获取请求,并发控制