模型评价方法和装置、模型评价系统及其训练方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109829550A(43)申请公布日2019.05.31(21)申请号201910105263.1(22)申请日2019.02.01(71)申请人北京金山数字娱乐科技有限公司地址100085北京市海淀区小营西路33号金山软件大厦2层西区申请人成都金山互动娱乐科技有限公司(72)发明人李长亮廖敏鹏唐剑波王安(74)专利代理机构北京智信禾专利代理有限公司11637代理人王治东吴肖肖(51)Int.Cl.G06N20/00(2019.01)权利要求书2页说明书11页附图7页(54)发明名称模型评价方法和装置、模型评价系统及其训练方法和装置(57)摘要本申请提供模型评价方法和装置、模型评价系统及其训练方法和装置，其中，模型评价方法包括：将任务输入特征分别输入至少两个任务模型，得到每个任务模型的任务输出特征和任务输出特征对应的置信度；将任务输入特征对应的至少两个任务模型的任务输出特征和任务输出特征对应的置信度输入参数搜索模型，以使参数搜索模型根据每个任务模型的任务输出特征对应的置信度以及参数搜索模型的权重参数，得到每个任务模型的置信权重，并根据每个任务模型的置信权重得到每个任务模型的评价值，其中，参数搜索模型具有最优的权重参数。从而在同一个任务模型对不同语句适应性有差别，多个任务模型输出多个结果的情况下，实现对任务模型的评价。CN109829550ACN109829550A权利要求书1/2页1.一种模型评价方法，其特征在于，所述方法包括：将任务输入特征分别输入至少两个任务模型，得到每个任务模型的任务输出特征和所述任务输出特征对应的置信度；将所述任务输入特征对应的至少两个任务模型的任务输出特征和所述任务输出特征对应的置信度输入参数搜索模型，以使所述参数搜索模型根据每个任务模型的任务输出特征对应的置信度以及所述参数搜索模型的权重参数，得到每个任务模型的置信权重，并根据每个任务模型的置信权重得到每个任务模型的评价值，其中，所述参数搜索模型具有最优的权重参数。2.如权利要求1所述的方法，其特征在于，所述参数搜索模型根据每个任务模型的任务输出特征对应的置信度以及所述参数搜索模型的权重参数，得到每个任务模型的置信权重，包括：所述参数搜索模型根据每个任务模型的任务输出特征对应的置信度和每个任务模型对应的所述参数搜索模型的权重参数的乘积，得到每个任务模型的置信权重。3.如权利要求1所述的方法，其特征在于，根据每个任务模型的置信权重得到每个任务模型的评价值，包括：根据每个任务模型的置信权重，确定最优的置信权重对应的任务模型；根据每个任务模型对应的最优的置信权重的次数，得到每个任务模型的评价值。4.一种模型评价系统的训练方法，其特征在于，所述方法包括：将任务输入特征分别输入至少两个任务模型，得到每个任务模型的任务输出特征和所述任务输出特征对应的置信度；将所述任务输入特征对应的至少两个任务模型的任务输出特征和任务输出特征对应的置信度作为训练样本、将所述任务输入特征对应的任务验证特征作为训练标签输入参数搜索模型，对参数搜索模型进行训练，以使所述训练样本与所述训练标签相关联，并使所述参数搜索模型具有最优的权重参数。5.如权利要求4所述的方法，其特征在于，将所述任务输入特征对应的至少两个任务模型的任务输出特征和任务输出特征对应的置信度作为训练样本、将所述任务输入特征对应的任务验证特征作为训练标签输入参数搜索模型，对参数搜索模型进行训练，包括：根据每个任务模型的任务输出特征对应的置信度以及每个任务模型对应的所述参数搜索模型的权重参数，得到每个任务模型的置信权重；根据至少两个任务模型的任务输出特征和所述任务输入特征对应的任务验证特征，得到每个任务模型对应的评价系数；调整每个任务模型对应的所述参数搜索模型的权重参数，使置信权重最优的任务模型为评价系数最优的任务模型。6.如权利要求4所述的方法，其特征在于，调整每个任务模型对应的所述参数搜索模型的权重参数，包括：确定所述参数搜索模型的搜索参数；通过高斯函数随机采样，生成每个任务模型对应的所述参数搜索模型的权重参数，其中，所述高斯函数以所述任务模型的调整前的对应的所述参数搜索模型的权重参数为均值，以搜索参数为方差。2CN109829550A权利要求书2/2页7.一种模型评价装置，其特征在于，所述装置包括：第一输入模块，被配置为将任务输入特征分别输入至少两个任务模型，得到每个任务模型的任务输出特征和所述任务输出特征对应的置信度；评价模块，被配置为将所述任务输入特征对应的至少两个任务模型的任务输出特征和任务输出特征对应的置信度输入参数搜索模型，以使所述参数搜索模型根据每个任务模型的任务输出特征对应的置信度以及所述参数搜索模型的权重参数，得到每个任务模