面向流式数据的机器学习模型在线服务部署方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115756875A(43)申请公布日2023.03.07(21)申请号202310015610.8(22)申请日2023.01.06(71)申请人山东未来网络研究院（紫金山实验室工业互联网创新应用基地）地址250000山东省济南市市中区山东大学国家大学科技园7号楼(72)发明人张田田涂燕晖程海博(74)专利代理机构南京九致知识产权代理事务所(普通合伙)32307专利代理师王晓青(51)Int.Cl.G06F9/50(2006.01)G06F9/54(2006.01)G06N20/00(2019.01)权利要求书3页说明书9页附图4页(54)发明名称面向流式数据的机器学习模型在线服务部署方法及系统(57)摘要本发明提供的面向流式数据的机器学习模型在线服务部署方法及系统，涉及机器学习模型部署领域；其方法包括：构建面向流式数据的机器学习模型在线服务框架，包括模型在线服务对外API接口、流式数据实时处理通道和分布式模型预测服务，流式数据实时处理通道包括gRPC服务集群和消息队列服务；根据gRPC双向流建立客户端与gRPC服务端节点的双向通信连接；接收流式请求数据并存储至消息队列服务中；监听消息队列服务，在接收到流式请求数据时选择对应的模型预测，将预测结果写入消息队列服务并推送至客户端。本发明对外提供机器学习模型在线服务的异步WEB接口，实时接收、缓存和处理数据、发送模型预测结果，避免客户端的无效堵塞。CN115756875ACN115756875A权利要求书1/3页1.一种面向流式数据的机器学习模型在线服务部署方法，其特征在于，包括：构建面向流式数据的机器学习模型在线服务框架，包括统一的模型在线服务对外API接口、流式数据实时处理通道和分布式模型预测服务；其中，所述流式数据实时处理通道包括gRPC服务集群和消息队列服务；所述分布式模型预测服务包括若干具有模型预测功能的机器学习模型；所述gRPC服务集群包括若干gRPC服务端节点；接收来自于各应用客户端的连接请求，利用gRPC双向流建立各应用客户端与gRPC服务集群内各gRPC服务端节点的双向通信连接；gRPC服务集群内各gRPC服务端节点持续接收来自于各应用客户端的流式请求数据，并顺序存储至消息队列服务中；监听消息队列服务，在接收到新的请求数据时在分布式模型预测服务中选择对应的机器学习模型进行模型预测，并将预测结果写入消息队列服务中；监听消息队列服务，在接收到新的预测结果时通过统一的模型在线服务对外API接口将预测结果实时推送至与对应请求的应用客户端。2.根据权利要求1所述的面向流式数据的机器学习模型在线服务部署方法，其特征在于，所述统一的模型在线服务对外API接口由WEBAPI网关提供；所述gRPC服务集群内gRPC服务端节点与应用客户端保持可双向通信的长连接，用于接收流式数据请求并缓存至消息队列服务、监听消息队列服务获取预测结果后异步实时推送至应用客户端；所述消息队列服务包括请求消息队列和回复消息队列，所述请求消息队列用于缓存流式请求数据，所述回复消息队列用于缓存预测结果。3.根据权利要求2所述的面向流式数据的机器学习模型在线服务部署方法，其特征在于，所述应用客户端即gRPC客户端，所述gRPC服务集群内各gRPC服务端节点注册服务信息至WEBAPI网关；当gRPC客户端发起一次gRPC请求时，与所述gRPC服务端节点建立双向通信连接并交互的过程如下：接收gRPC客户端的gRPC请求并判断当前可用的gRPC服务端节点；根据预设的负载均衡策略选择可连接的gRPC服务端节点，并将节点信息发送给gRPC客户端，以便gRPC客户端根据节点信息建立与gRPC服务端节点的双向通信连接；对与gRPC服务端节点双向通信连接的gRPC客户端分配一具有唯一性的客户端ID，以便gRPC服务端节点接收对应客户端ID的gRPC客户端发送的流式请求数据，实现gRPC服务端节点和gRPC客户端的交互。4.根据权利要求3所述的面向流式数据的机器学习模型在线服务部署方法，其特征在于，所述gRPC服务端节点接收流式请求数据并顺序存储至消息队列服务中的具体过程为：gRPC服务端根据接收流式请求数据的时间顺序，生成各流式请求数据对应的请求ID；依次发送附加有请求ID的各流式请求数据至以客户端ID为标识的请求消息队列中；其中，流式请求数据包括模型输入数据、预测应用的机器学习模型、模型预测参数。5.根据权利要求4所述的面向流式数据的机器学习模型在线服务部署方法，其特征在于，所述监听消息队列服务至将预测结果写入消息队列服务中的具体过程为：监听请求消息队列，并在接收到新的流式请求数据时根据应用场景基于不同窗口模式2CN115756875A权利要求书2/3页将无边界