一种请求处理方法、装置、服务器和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113761416A(43)申请公布日2021.12.07(21)申请号202011500882.XG06F40/279(2020.01)(22)申请日2020.12.17G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人北京沃东天骏信息技术有限公司G06F17/16(2006.01)地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人罗辉(74)专利代理机构北京品源专利代理有限公司11332代理人孟金喆(51)Int.Cl.G06F16/957(2019.01)G06F16/906(2019.01)G06F40/242(2020.01)权利要求书2页说明书10页附图3页(54)发明名称一种请求处理方法、装置、服务器和存储介质(57)摘要本发明实施例公开了一种请求处理方法、装置、服务器和存储介质，该方法包括：从任务队列中周期性地获取批量的目标请求任务，任务队列用于缓存接收到的每个用户请求所对应的请求任务；对每个周期获取的各个目标请求任务对应的各个目标请求向量进行合并处理，确定目标请求矩阵；将目标请求矩阵输入至神经网络模型中进行矩阵并行处理，获得神经网络模型输出的目标结果矩阵；对目标结果矩阵进行分配处理，确定每个目标请求任务对应的请求处理结果。通过本发明实施例的技术方案，可以提高请求处理效率，并且无需额外部署机器，降低了机器使用成本。CN113761416ACN113761416A权利要求书1/2页1.一种请求处理方法，其特征在于，包括：从任务队列中周期性地获取批量的目标请求任务，所述任务队列用于缓存接收到的每个用户请求所对应的请求任务；对每个周期获取的各个目标请求任务对应的各个目标请求向量进行合并处理，确定目标请求矩阵；将所述目标请求矩阵输入至神经网络模型中进行矩阵并行处理，获得所述神经网络模型输出的目标结果矩阵；对所述目标结果矩阵进行分配处理，确定每个所述目标请求任务对应的请求处理结果。2.根据权利要求1所述的方法，其特征在于，对每个周期获取的各个目标请求任务对应的各个目标请求向量进行合并处理，确定目标请求矩阵，包括：基于各个目标请求任务对应的预设合并顺序，将每个周期获取的每个目标请求任务对应的目标请求向量作为矩阵的一个行向量进行合并，获得目标请求矩阵。3.根据权利要求2所述的方法，其特征在于，对所述目标结果矩阵进行分配处理，确定每个所述目标请求任务对应的请求处理结果，包括：将所述目标结果矩阵中的每个行向量作为一个请求处理结果；基于所述预设合并顺序，对各个所述请求处理结果进行分配，获得每个所述目标请求任务对应的请求处理结果。4.根据权利要求1所述的方法，其特征在于，将所述目标请求矩阵输入至神经网络模型中进行矩阵并行处理，获得所述神经网络模型输出的目标结果矩阵，包括：利用处理器的单指令多数据流SIMD技术，对输入至神经网络模型中的所述目标请求矩阵进行矩阵并行处理，并将所述神经网络模型处理后获得的目标结果矩阵进行输出。5.根据权利要求1所述的方法，其特征在于，在从任务队列中周期性地获取批量的目标请求任务之前，还包括：对接收到的每个用户请求的请求内容进行向量化，确定每个用户请求对应的请求向量；根据所述请求向量，确定每个用户请求对应的请求任务，并将每个所述请求任务添加至任务队列中。6.根据权利要求5所述的方法，其特征在于，根据所述请求向量，确定每个用户请求对应的请求任务，包括：对每个用户请求分配一个结果存储变量；根据所述请求向量和所述结果存储变量，确定每个用户请求对应的请求任务；在所述对所述目标结果矩阵进行分配处理，确定每个所述目标请求任务对应的请求处理结果之后，还包括：将每个所述目标请求任务对应的请求处理结果添加至相应的目标结果存储变量中。7.根据权利要求1‑6任一所述的方法，其特征在于，从任务队列中周期性地获取批量的目标请求任务，包括：从任务队列中周期性地获取预设数量的目标请求任务；或者，将任务队列中处于预设时间窗口内的各个请求任务确定为每个周期取出的目标请求2CN113761416A权利要求书2/2页任务。8.一种请求处理装置，其特征在于，包括：任务获取模块，用于从任务队列中周期性地获取批量的目标请求任务，所述任务队列用于缓存接收到的每个用户请求所对应的请求任务；任务合并模块，用于对每个周期获取的各个目标请求任务对应的各个目标请求向量进行合并处理，确定目标请求矩阵；结果获取模块，用于将所述目标请求矩阵输入至神经网络模型中进行矩阵并行处理，获得所述神经网络模型输出的目标结果矩阵；结果分配模块，用于对所述目标结果矩阵进行分配处理，确定每个所述目标请