预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共20页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110633320A(43)申请公布日2019.12.31(21)申请号201810542086.9(22)申请日2018.05.30(71)申请人北京京东尚科信息技术有限公司地址100195北京市海淀区杏石口路65号西杉创意园四区11号楼东段1-4层西段1-4层申请人北京京东世纪贸易有限公司(72)发明人王巍王飞(74)专利代理机构上海弼兴律师事务所31283代理人薛琦罗朗(51)Int.Cl.G06F16/27(2019.01)G06F9/54(2006.01)权利要求书4页说明书11页附图4页(54)发明名称分布式数据服务的处理方法、系统、设备及存储介质(57)摘要本发明公开了一种分布式数据服务的处理方法、系统、设备及存储介质,其中处理方法包括应用服务模块从接收到的写服务请求中获取业务数据,并在业务数据中增加同步状态字段和全局ID后作为目标业务数据,分别存入分布式缓存、本地存储器和消息队列;异步服务模块通过监听消息队列,并从异步消息获取目标业务数据后入库,及成功入库后更新目标业务数据的同步状态字段,并将更新后的目标业务数据更新到分布式缓存;工作进程模块定时轮询本地存储器的数据,并根据全局ID获取分布式缓存中对应数据以及判断同步状态字段是否已更新,若是则删除本地数据,若否则向消息队列重发。本发明能有效地保证每次的写数据服务请求都能无遗漏地得到响应。CN110633320ACN110633320A权利要求书1/4页1.一种分布式数据服务的处理方法,其特征在于,包括:应用服务模块接收客户端发起的写数据服务请求,并从所述写数据服务请求中获取业务数据;所述应用服务模块在所述业务数据中增加同步状态字段,并初始化所述同步状态字段;所述应用服务模块生成所述业务数据的全局ID,并将所述全局ID增加到所述业务数据中;所述应用服务模块将已加入所述同步状态字段和所述全局ID的所述业务数据作为目标业务数据分别异步存入分布式缓存和本地存储器,以及将所述目标业务数据作为异步消息向消息队列发送;异步服务模块监听所述消息队列,并在监听到异步消息后,从所述异步消息中获取出所述目标业务数据,将所述目标业务数据异步写入关系型数据库中,并在写入完成后将所述目标业务数据中的同步状态字段的内容进行更新,及将已更新所述同步状态字段的所述目标业务数据更新到所述分布式缓存中,所述异步服务模块具有幂等性;工作进程模块定时读取所述本地存储器中的目标业务数据,根据读取到的所述目标业务数据的全局ID读取所述分布式缓存中的缓存数据,判断所读取到的所述缓存数据的同步状态字段是否已更新,若是则删除所述本地存储器中的所述目标业务数据,若否则将所述本地存储器中的所述目标业务数据作为异步消息向所述消息队列发送。2.如权利要求1所述的分布式数据服务的处理方法,其特征在于,在所述应用服务模块将所述目标业务数据异步发送到所述消息队列失败时,所述分布式数据服务的处理方法还包括:所述应用服务模块向所述异步服务模块发起第一远程调用异步请求;所述异步服务模块还监听所述第一远程调用异步请求,并在监听到所述第一远程调用异步请求后,从所述第一远程调用异步请求中获取出所述目标业务数据。3.如权利要求1所述的分布式数据服务的处理方法,其特征在于,在所述应用服务模块将所述目标业务数据异步发送到消息队列时,当所述目标业务数据积压量超过预设阈值时,所述分布式数据服务的处理方法还包括:所述应用服务模块向所述异步服务模块发起第二远程调用异步请求;所述异步服务模块还监听所述第二远程调用异步请求,并在监听到所述第二远程调用异步请求后,从所述第二远程调用异步请求中获取出所述目标业务数据。4.如权利要求1所述的分布式数据服务的处理方法,其特征在于,所述分布式缓存包括redis存储系统;所述分布式数据服务的处理方法还包括:在所述应用服务模块将所述目标业务数据异步存入所述分布式缓存前和异步发送到所述消息队列前,所述应用服务模块将所述目标业务数据进行序列化生成字符串,所述redis存储系统中的缓冲数据的key值为所述目标业务数据中的全局ID,所述redis存储系统中的缓冲数据的value值为所述字符串,所述消息队列中的消息体为所述字符串;在所述异步服务模块从所述异步消息中获取所述目标业务数据时,所述异步服务模块先将所述异步消息反序列化后再获取所述目标业务数据。2CN110633320A权利要求书2/4页5.如权利要求1所述的分布式数据服务的处理方法,其特征在于,在所述应用服务模块将所述目标业务数据异步存入所述本地存储器的步骤中,所述应用服务模块将每一预设时间段的所述写数据服务请求的所述目标业务数据形成一个本地文件并异步存入所述本地存储器;所述工作进程模块通过读取