NLP任务的处理方法、装置、终端设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114117010A(43)申请公布日2022.03.01(21)申请号202111439816.0(22)申请日2021.11.30(71)申请人中国平安人寿保险股份有限公司地址518000广东省深圳市福田区福田街道益田路5033号平安金融中心14、15、16、37、41、44、45、46、54、58、59层(72)发明人成杰峰(74)专利代理机构深圳中一联合知识产权代理有限公司44414代理人姚泽鑫(51)Int.Cl.G06F16/332(2019.01)G06F16/33(2019.01)G06F16/338(2019.01)权利要求书2页说明书11页附图3页(54)发明名称NLP任务的处理方法、装置、终端设备和存储介质(57)摘要本申请适用于人工智能技术领域，提供一种NLP任务的处理方法、装置、终端设备和存储介质。该方法包括：获取NLP任务的处理请求，所述处理请求包括所述NLP任务的类型信息和性能需求信息；从预先构建的模型资源池中查找类型与所述类型信息匹配的第一NLP模型，其中，所述模型资源池预先收集多个不同类型的NLP模型；从所述第一NLP模型中选取性能满足所述性能需求信息的第二NLP模型；将所述第二NLP模型中运行时所需耗费系统资源最少的模型确定为目标NLP模型；使用所述目标NLP模型对所述NLP任务进行响应，得到所述NLP任务的处理结果。采用该方法能够提高NLP任务的处理效率，且避免NLP模型耗费过多的系统资源。CN114117010ACN114117010A权利要求书1/2页1.一种NLP任务的处理方法，其特征在于，包括：获取NLP任务的处理请求，所述处理请求包括所述NLP任务的类型信息和性能需求信息；从预先构建的模型资源池中查找类型与所述类型信息匹配的第一NLP模型，其中，所述模型资源池预先收集多个不同类型的NLP模型；从所述第一NLP模型中选取性能满足所述性能需求信息的第二NLP模型；将所述第二NLP模型中运行时所需耗费系统资源最少的模型确定为目标NLP模型；使用所述目标NLP模型对所述NLP任务进行响应，得到所述NLP任务的处理结果。2.如权利要求1所述的方法，其特征在于，所述性能需求信息包括目标计算精度和目标每秒请求量，所述从所述第一NLP模型中选取性能满足所述性能需求信息的第二NLP模型，包括：从所述第一NLP模型中选取计算精度大于所述目标计算精度，且每秒请求量大于所述目标每秒请求量的待选NLP模型；若所述待选NLP模型选取成功，则将所述待选NLP模型确定为所述第二NLP模型；若所述待选NLP模型选取失败，则按照设定比例降低所述目标计算精度和所述目标每秒请求量，然后返回执行从所述第一NLP模型中选取计算精度大于所述目标计算精度，且每秒请求量大于所述目标每秒请求量的待选NLP模型的步骤。3.如权利要求1所述的方法，其特征在于，所述从所述第一NLP模型中选取性能满足所述性能需求信息的第二NLP模型，包括：若所述第一NLP模型中没有性能满足所述性能需求信息的模型，则从所述第一NLP模型中选取性能与所述性能需求信息最接近的待改造NLP模型；对所述待改造NLP模型的参数进行调整，使得参数调整后的所述待改造NLP模型的性能满足所述性能需求信息；将参数调整后的所述待改造NLP模型确定为所述第二NLP模型。4.如权利要求1所述的方法，其特征在于，在将所述第二NLP模型中运行时所需耗费系统资源最少的模型确定为目标NLP模型之后，还包括：获取当前的可用系统资源数量；若所述目标NLP模型运行时所需耗费的系统资源数量大于或等于所述可用系统资源数量，则对所述目标NLP模型的参数进行调整，使得参数调整后的所述目标NLP模型运行时所需耗费的系统资源数量小于所述可用系统资源数量。5.如权利要求4所述的方法，其特征在于，所述对所述目标NLP模型的参数进行调整，使得参数调整后的所述目标NLP模型运行时所需耗费的系统资源数量小于所述可用系统资源数量，包括：计算所述目标NLP模型运行时所需耗费的系统资源数量和所述可用系统资源数量之间的差值；根据所述差值确定对所述目标NLP模型的网络层进行删减的层数；删除所述目标NLP模型具有的所述层数的网络层。6.如权利要求1所述的方法，其特征在于，所述模型资源池收集的每个NLP模型都具有对应的模型画像信息，所述从预先构建的模型资源池中查找类型与所述类型信息匹配的第2CN114117010A权利要求书2/2页一NLP模型，包括：根据所述模型资源池收集的每个NLP模型的模型画像信息，分别确定每个所述NLP模型所适用的NLP任务类型；将所述模型资源池收集的多个NLP模型中所适用的NLP任务类型涵盖所述类型信息的NLP模型，确定为所述