预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共13页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113821573A(43)申请公布日2021.12.21(21)申请号202110998491.3G06F16/23(2019.01)(22)申请日2021.08.27G06F16/21(2019.01)(71)申请人济南浪潮数据技术有限公司地址250000山东省济南市中国(山东)自由贸易试验区济南片区浪潮路1036号浪潮科技园S05楼S311室(72)发明人孙伟源(74)专利代理机构济南舜源专利事务所有限公司37205代理人孙玉营(51)Int.Cl.G06F16/28(2019.01)G06F16/27(2019.01)G06F16/2453(2019.01)G06F16/242(2019.01)权利要求书2页说明书8页附图2页(54)发明名称海量数据快速检索服务构建方法、系统、终端及存储介质(57)摘要本发明提供一种海量数据快速检索服务构建方法、系统、终端及存储介质,包括:将关系型数据库的读权限转移至搜索服务器;监控搜索服务器的查询业务,获取热点检索词,缓存热点检索词的目标数据;利用数据仓库工具创建临时表对全量索引的关联表进行合并,基于所述临时表更新全量索引内容,并将更新的全量索引导入搜索服务器;通过监听关系型数据库的日志文件获取所述关系型数据库的更新数据,将所述更新数据同步更新至搜索服务器的索引。本发明实现了海量数据实时秒级查询,为用户带来了良好体验,显著提升了客户价值,提升了整体业务运作效率,降低了企业运维成本,提升了系统稳定性,进而创造了更多价值。CN113821573ACN113821573A权利要求书1/2页1.一种海量数据快速检索服务构建方法,其特征在于,包括:将关系型数据库的读权限转移至搜索服务器;监控搜索服务器的查询业务,获取热点检索词,缓存热点检索词的目标数据;利用数据仓库工具创建临时表对全量索引的关联表进行合并,基于所述临时表更新全量索引内容,并将更新的全量索引导入搜索服务器;通过监听关系型数据库的日志文件获取所述关系型数据库的更新数据,将所述更新数据同步更新至搜索服务器的索引。2.根据权利要求1所述的方法,其特征在于,将关系型数据库的读权限转移至搜索服务器,包括:授予关系型数据库表插入权限、更新权限和删除权限;授权搜索数据库对关系型数据库的读权限。3.根据权利要求1所述的方法,其特征在于,监控搜索服务器的查询业务,获取热点检索词,缓存热点检索词的目标数据,包括:指定第一期间、第二期间、第一刷新周期和第二刷新周期;根据第一刷新周期定期采集在所述第一期间之内的,热点排序在指定位数范围内的检索词作为第一检索词组,将第一检索词组的目标数据进行缓存;根据第二刷新周期定期采集在所述第二期间之内的,热点排序在指定位数范围内的检索词作为第二检索词组,将第二检索词组的目标数据进行缓存。4.根据权利要求1所述的方法,其特征在于,利用数据仓库工具创建临时表对全量索引的关联表进行合并,基于所述临时表更新全量索引内容,并将更新的全量索引导入搜索服务器,包括:利用数据迁移工具将关系型数据库中的数据同步至数据仓库工具;利用数据仓库工具将互相关联的表数据合并生成临时表,并将临时表保存至分布式存储系统,以使索引处理任务从分布式存储系统读取临时表的数据并将读取的数据写入搜索服务器。5.根据权利要求4所述的方法,其特征在于,利用数据仓库工具创建临时表对全量索引的关联表进行合并,基于所述临时表更新全量索引内容,并将更新的全量索引导入搜索服务器,包括:定期采集系统时间,若当前系统时间在设定的更新时段内,则执行对全量索引的更新。6.根据权利要求1所述的方法,其特征在于,通过监听关系型数据库的日志文件获取所述关系型数据库的更新数据,将所述更新数据同步更新至搜索服务器的索引,包括:通过启用关系型服务器的监控日志机制,将关系型数据库的数据变更写入日志文件;监听关系型数据库的日志文件,读取日志文件的二进制事件,通过解析二进制事件获取更新数据,并将被更新数据转化为业务对象写入消息队列;通过设置索引更新程序订阅所述消息队列,将更新数据写入搜索服务器索引。7.一种海量数据快速检索服务构建系统,其特征在于,包括:读写分离单元,用于将关系型数据库的读权限转移至搜索服务器;热点缓存单元,用于监控搜索服务器的查询业务,获取热点检索词,缓存热点检索词的目标数据;2CN113821573A权利要求书2/2页第一更新单元,用于利用数据仓库工具创建临时表对全量索引的关联表进行合并,基于所述临时表更新全量索引内容,并将更新的全量索引导入搜索服务器;第二更新单元,用于通过监听关系型数据库的日志文件获取所述关系型数据库的更新数据,将所述更新数据同步更新至搜索服务器的索引。8.根据权利要求7所述的系统