预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共13页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113672644A(43)申请公布日2021.11.19(21)申请号202110839379.5(22)申请日2021.07.23(71)申请人济南浪潮数据技术有限公司地址250000山东省济南市中国(山东)自由贸易试验区济南片区浪潮路1036号浪潮科技园S05楼S311室(72)发明人侯满常洪耀(74)专利代理机构济南舜源专利事务所有限公司37205代理人孙玉营(51)Int.Cl.G06F16/2455(2019.01)G06F16/27(2019.01)权利要求书2页说明书8页附图2页(54)发明名称基于ES服务的深度检索优化方法、系统、终端及存储介质(57)摘要本发明提供一种基于ES服务的深度检索优化方法、系统、终端及存储介质,包括:采集检索目标的数据量并根据所述数据量和预先设置的深分页规则设定所述检索目标的起始值;根据起始值确定次级协调节点的目标数量,选取目标数量的次级协调节点;获取检索目标分布的所有分片,并将所有分片平均分配至各次级协调节点;汇总次级协调节点上传的检索结果得到查询数据id和评分排序结果,并根据查询数据id和评分排序结果向客户端返回查询数据。本发明降低了深度检索的内存溢出导致程序崩溃的风险,提升了ES服务深度检索的业务处理能力和可用性。CN113672644ACN113672644A权利要求书1/2页1.一种基于ES服务的深度检索优化方法,其特征在于,包括:采集检索目标的数据量并根据所述数据量和预先设置的深分页规则设定所述检索目标的起始值;根据起始值确定次级协调节点的目标数量,选取目标数量的次级协调节点;获取检索目标分布的所有分片,并将所有分片平均分配至各次级协调节点;汇总次级协调节点上传的检索结果得到查询数据id和评分排序结果,并根据查询数据id和评分排序结果向客户端返回查询数据。2.根据权利要求1所述的方法,其特征在于,采集检索目标的数据量并根据所述数据量和预先设置的深分页规则设定所述检索目标的起始值,包括:预先设置多个数据量等级并为每个数据量等级设定相应的起始值,将数据量等级与起始值的映射关系作为深分页规则保存;根据检索目标的数据量所属的数据量等级,将所属数据量等级相应的起始值设定为检索目标的起始值。3.根据权利要求2所述的方法,其特征在于,采集检索目标的数据量并根据所述数据量和预先设置的深分页规则设定所述检索目标的起始值,包括:解析检索目标的文档内容,统计数据量。4.根据权利要求1所述的方法,其特征在于,根据起始值确定次级协调节点的目标数量,选取目标数量的次级协调节点,包括:预先设定多个起始值等级并为每个起始值等级设定匹配的次级协调节点数量,将起始值等级与次级协调节点数量的匹配关系保存为资源分配规则;根据资源分配规则和所述检索目标的起始值确定次级协调节点的目标数量;从协调节点中选取处于空闲状态的目标数量的次级协调节点。5.根据权利要求4所述的方法,其特征在于,从协调节点中选取处于空闲状态的目标数量的次级协调节点,包括:采集各协调节点的可用内存资源,所述可用内存资源=内存总量‑内存占用量;将可用内存资源超过预设资源阈值的协调节点标记为空闲状态的协调节点;从空闲状态的协调节点中随机选取目标数量的次级协调节点。6.根据权利要求1所述的方法,其特征在于,获取检索目标分布的所有分片,并将所有分片平均分配至各次级协调节点,包括:计算各次级协调节点承担的分片数量,分片数量=检索目标分布的所有分片数量÷次级协调节点数量;依次利用随机算法从所有分片中选取所述分片数量的目标分片组,并将目标分片组的各分片的基础信息分配至未接收分片任务的次级协调节点。7.根据权利要求1所述的方法,其特征在于,汇总次级协调节点上传的检索结果得到查询数据id和评分排序结果,并根据查询数据id和评分排序结果向客户端返回查询数据,包括:接收各次级协调节点上传的检索结果,所述检索结果包括次级协调节点承担的分片的查询数据id和查询数据id评分,为检索结果标记所属分片;汇总所有查询数据id,并根据查询数据id评分生成所有查询数据id的评分排序结果;2CN113672644A权利要求书2/2页根据评分排序结果选择目标查询数据id,调取目标查询数据id下的查询数据,并将查询数据发送至客户端。8.一种基于ES服务的深度检索优化系统,其特征在于,包括:分页设置单元,用于采集检索目标的数据量并根据所述数据量和预先设置的深分页规则设定所述检索目标的起始值;节点选择单元,用于根据起始值确定次级协调节点的目标数量,选取目标数量的次级协调节点;任务分配单元,用于获取检索目标分布的所有分片,并将所有分片平均分配至各次级协调节点;结果汇总单元,用于汇总次级协调节点上传的检索结果得到查询数