实例分割模型的训练方法、装置、系统及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113673505A(43)申请公布日2021.11.19(21)申请号202110722507.8(22)申请日2021.06.29(71)申请人北京旷视科技有限公司地址100080北京市海淀区中关村大街1号10层1018室申请人北京迈格威科技有限公司(72)发明人付子昂王剑锋(74)专利代理机构北京睿邦知识产权代理事务所(普通合伙)11481代理人徐丁峰张玮(51)Int.Cl.G06K9/32(2006.01)G06K9/34(2006.01)G06T3/00(2006.01)权利要求书3页说明书14页附图4页(54)发明名称实例分割模型的训练方法、装置、系统及存储介质(57)摘要本发明的实施例提供了一种实例分割模型的训练方法、装置、系统及存储介质。该方法包括：获取训练图像和对应的标注数据；对训练图像执行仿射变换操作，以获得变换后的训练图像；将训练图像输入实例分割模型，以对训练图像进行实例分割并获得第一预测掩码；将变换后的训练图像输入实例分割模型，以对变换后的训练图像进行实例分割并获得第二预测掩码；对第一预测掩码执行仿射变换操作，以获得变换后的掩码；基于真实包围框、第一预测掩码、变换后的掩码和第二预测掩码确定主损失函数的函数值；基于主损失函数的函数值训练实例分割模型。这不仅提升了实例分割模型的自主学习能力，还增强了其泛化性，能够获得更准确的实例分割结果。CN113673505ACN113673505A权利要求书1/3页1.一种实例分割模型的训练方法，包括：获取训练图像和对应的标注数据，其中所述标注数据包括所述训练图像中目标的真实包围框的位置信息；对所述训练图像执行仿射变换操作，以获得变换后的训练图像；将所述训练图像输入所述实例分割模型，以对所述训练图像进行实例分割并获得第一预测掩码；将所述变换后的训练图像输入所述实例分割模型，以对所述变换后的训练图像进行实例分割并获得第二预测掩码；对所述第一预测掩码执行所述仿射变换操作，以获得变换后的掩码；基于所述真实包围框、所述第一预测掩码、所述变换后的掩码和所述第二预测掩码确定主损失函数的函数值；以及基于所述主损失函数的函数值训练所述实例分割模型。2.如权利要求1所述的方法，其中，所述将所述训练图像输入所述实例分割模型以对所述训练图像进行实例分割并获得第一预测掩码，包括：将所述训练图像输入所述实例分割模型，获得所述目标的第一包围框和所述第一包围框的得分；以及根据所述第一包围框和所述第一包围框的得分，确定所述第一预测掩码。3.如权利要求2所述的方法，其中，所述方法还包括：基于所述真实包围框、所述第一包围框和所述第一包围框的得分确定第一辅助损失函数的函数值；其中，所述训练所述实例分割模型还同时基于所述第一辅助损失函数的函数值。4.如权利要求1至3任一项所述的方法，其中，所述将所述变换后的训练图像输入所述实例分割模型以对所述变换后的训练图像进行实例分割并获得第二预测掩码，包括：将所述变换后的训练图像输入所述实例分割模型，获得所述目标的第二包围框和所述第二包围框的得分；以及根据所述第二包围框和所述第二包围框的得分，确定所述第二预测掩码；所述方法还包括：确定所述变换后的掩码的最小包围框；以及基于所述最小包围框、所述第二包围框和所述第二包围框的得分确定第二辅助损失函数的函数值；其中，所述训练所述实例分割模型还同时基于所述第二辅助损失函数的函数值。5.如权利要求1至3任一项所述的方法，其中，所述基于所述真实包围框、所述第一预测掩码、所述变换后的掩码和所述第二预测掩码确定主损失函数的函数值包括：基于所述真实包围框和所述第一预测掩码计算第一主导损失函数的函数值；基于所述变换后的掩码和所述第二预测掩码计算所述第二主导损失函数的函数值；以及基于所述第一主导损失函数的函数值和所述第二主导损失函数的函数值计算所述主损失函数的函数值。2CN113673505A权利要求书2/3页6.如权利要求5所述的方法，其中，所述基于所述变换后的掩码和所述第二预测掩码计算所述第二主导损失函数的函数值包括：针对每次仿射变换操作且对于所述训练图像中的每个目标，基于该目标的第i个第一预测掩码经该次仿射变换操作所获得的变换后的掩码以及对所述训练图像执行该次仿射变换操作后进行实例分割所获得的该目标的第j个第二预测掩码计算该目标的子目标函数的函数值；以及根据该目标的所有子目标函数的函数值利用如下公式计算该目标的第二主导损失函数的函数值：其中，N表示该目标的第一预测掩码的个数，M表示对所述训练图像执行该次仿射变换操作后进行实例分割所获得的该目标的第二预测掩码的个数。7.如权利要求6所述的方法，其中，所述子目标函数的函数值根据以下公式计算：其中，表示基于投影到x轴所