一种模型训练方法、装置、设备以及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114120031A(43)申请公布日2022.03.01(21)申请号202111289695.6(22)申请日2021.11.02(71)申请人北京旷视科技有限公司地址100096北京市海淀区西三旗建材城内建中路12幢一层1268号申请人北京迈格威科技有限公司(72)发明人王英明(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人唐正瑜(51)Int.Cl.G06V10/764(2022.01)G06V10/774(2022.01)G06K9/62(2022.01)权利要求书3页说明书17页附图5页(54)发明名称一种模型训练方法、装置、设备以及存储介质(57)摘要本申请提供一种模型训练方法、装置、设备以及存储介质，所述模型训练方法，包括：获取训练图像和多个锚点，所述训练图像中包括多个目标，所述多个目标中包括点框标注目标和点标注目标，所述点标注目标包括标注点，所述点框标注目标包括标注点和标注框；根据所述训练图像、所述多个锚点、所述点标注目标的标注点，以及，所述点框标注目标的标注点和标注框，对待训练模型进行训练；其中，所述多个锚点用于生成目标的预测框和类别得分。节省了模型训练过程中的标注时间。CN114120031ACN114120031A权利要求书1/3页1.一种模型训练方法，其特征在于，包括：获取训练图像和多个锚点，所述训练图像中包括多个目标，所述多个目标中包括点框标注目标和点标注目标，所述点标注目标包括标注点，所述点框标注目标包括标注点和标注框；根据所述训练图像、所述多个锚点、所述点标注目标的标注点，以及，所述点框标注目标的标注点和标注框，对待训练模型进行训练；其中，所述多个锚点用于生成目标的预测框和类别得分。2.如权利要求1所述的模型训练方法，其特征在于，所述根据所述训练图像、所述多个锚点、所述点标注目标的标注点，以及，所述点框标注目标的标注点和标注框，对待训练模型进行训练，包括：将所述训练图像和所述多个锚点，输入所述待训练模型，得到锚点预测结果以及中间特征，所述锚点预测结果包括每个所述锚点对应的预测框和类别得分，所述中间特征包括锚点查询特征和标注点查询特征；根据所述锚点预测结果、所述点框标注目标的标注框和所述点框标注目标的标注类别，得到所述点框标注目标对应的匹配锚点矩阵，所述匹配锚点矩阵记录了点框标注目标和锚点之间的匹配关系；根据所述锚点查询特征和所述标注点查询特征，得到相似度矩阵，所述相似度矩阵中记录了所述训练图像中的目标与锚点之间的相似度；根据所述点框标注目标对应的匹配锚点矩阵确定点框标注目标的匹配锚点；根据所述相似度矩阵得到点标注目标的匹配锚点；根据所述点框标注目标的匹配锚点的预测框和所述点框标注目标的标注框，计算框回归损失；根据所述点框标注目标的匹配锚点的类别得分和所述点框标注目标的标注类别，计算点框目标分类损失；根据所述点标注目标的匹配锚点的类别得分和所述点标注目标的标注类别，计算点目标分类损失；根据所述框回归损失、所述点框目标分类损失和所述点目标分类损失对所述待训练模型进行训练。3.如权利要求2所述的模型训练方法，其特征在于，所述根据所述锚点预测结果、所述点框标注目标的标注框和所述点框标注目标的标注类别，得到所述点框标注目标对应的匹配锚点矩阵，包括：根据所述锚点预测结果、所述点框标注目标的标注框和所述点框标注目标的标注类别，得到所述点框标注目标对应的代价矩阵；根据所述点框标注目标对应的代价矩阵，使用匈牙利匹配算法，得到所述点框标注目标对应的匹配锚点矩阵。4.如权利要求2或3任一项所述的模型训练方法，其特征在于，还包括：从所述相似度矩阵中获取到所述点框标注目标对应的相似度矩阵；根据所述点框标注目标对应的匹配锚点矩阵和所述点框标注目标对应的相似度矩阵计算相似度损失；2CN114120031A权利要求书2/3页所述根据所述框回归损失、所述点框目标分类损失和所述点目标分类损失对所述待训练模型进行训练，包括：根据所述相似度损失、所述框回归损失、所述点框目标分类损失和所述点目标分类损失对所述待训练模型进行训练。5.如权利要求2至4任一项所述的模型训练方法，其特征在于，还包括：根据所述标注点查询特征计算距离损失；所述根据所述框回归损失、所述点框目标分类损失和所述点目标分类损失对所述待训练模型进行训练，包括：根据所述距离损失、所述框回归损失、所述点框目标分类损失和所述点目标分类损失对所述待训练模型进行训练。6.如权利要求5所述的模型训练方法，其特征在于，所述根据所述标注点查询特征计算距离损失，包括：根据所述标注点查询特征确定目标查询特征；计算所述目标查询特征和所述目标查询特征对应的剩余查询特征之间的距离；根据计算所述