实例分割网络训练和实例分割方法、装置、电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113744281A(43)申请公布日2021.12.03(21)申请号202110820880.7(22)申请日2021.07.20(71)申请人北京旷视科技有限公司地址100096北京市海淀区西三旗建材城内建中路12幢一层1268号申请人北京迈格威科技有限公司(72)发明人董斌汪天才(74)专利代理机构北京润泽恒知识产权代理有限公司11319代理人王婷婷(51)Int.Cl.G06T7/11(2017.01)G06T7/194(2017.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书10页附图3页(54)发明名称实例分割网络训练和实例分割方法、装置、电子设备(57)摘要本申请实施例提供了实例分割网络训练方法、实例分割方法、实例分割网络训练装置、实例分割装置、电子设备，实例分割网络训练方法包括：对训练图像中的目标框所对应的第一真值掩码进行稀疏编码，得到目标框对应的真值掩码特征向量；利用实例分割网络，确定训练图像中的目标框所对应的预测掩码特征向量；基于目标框对应的真值掩码特征向量和目标框对应的预测掩码特征向量，更新实例分割网络的参数。CN113744281ACN113744281A权利要求书1/2页1.一种实例分割网络的训练方法，其特征在于，所述方法包括：对训练图像中的目标框所对应的第一真值掩码进行稀疏编码，得到所述目标框对应的真值掩码特征向量；利用实例分割网络，确定所述训练图像中的所述目标框所对应的预测掩码特征向量；基于所述目标框对应的真值掩码特征向量和所述目标框对应的预测掩码特征向量，更新所述实例分割网络的参数。2.根据权利要求1所述的方法，其特征在于，对训练图像中的目标框所对应的第一真值掩码进行稀疏编码，得到所述目标框对应的真值掩码向量，包括：将所述第一真值掩码放大至目标分辨率大小，得到第二真值掩码；对所述第二真值掩码进行离散余弦变换DCT处理，得到所述第二真值掩码在频域中的投影矩阵；基于所述投影矩阵，生成所述真值掩码特征向量。3.根据权利要求2所述的方法，其特征在于，基于所述投影矩阵，生成所述真值掩码特征向量，包括：对所述投影矩阵进行扫描，得到所述投影矩阵对应的投影向量；将所述投影向量中的预设数量个分量作为所述真值掩码特征向量。4.根据权利要求1所述的方法，其特征在于，利用实例分割网络，确定所述训练图像中的所述目标框所对应的预测掩码特征向量，包括：利用实例分割网络对所述训练图像进行特征提取，得到所述目标框对应的第一特征向量；对所述第一特征向量进行卷积处理，得到所述目标框所对应的第二特征向量；对所述第二特征向量和目标嵌入向量进行动态卷积处理，得到所述目标框对应的第三特征向量；对所述第三特征向量进行全连接处理，得到所述预测掩码特征向量。5.一种实例分割方法，其特征在于，所述方法包括：对待处理图像进行特征提取，得到所述待处理图像中的目标框所对应的特征向量；对所述特征向量进行处理，得到所述目标框所对应的掩码特征向量；基于所述掩码特征向量，生成所述目标框的实例分割掩码；其中，所述掩码特征向量的维度小于所述实例分割掩码的尺寸。6.根据权利要求5所述的方法，其特征在于，基于所述掩码特征向量，生成所述目标框的实例分割掩码，包括：将所述掩码特征向量转化为指定大小的掩码特征矩阵；其中，所述掩码特征矩阵的行数与所述实例分割掩码的行数相同，所述掩码特征矩阵的列数与所述实例分割掩码的列数相同；对所述掩码特征矩阵进行逆向离散余弦变换，得到所述实例分割掩码。7.根据权利要求6所述的方法，其特征在于，将所述掩码特征向量转化为指定大小的掩码特征矩阵，包括：创建所述目标框对应的初始向量，所述初始向量中的每一个分量均为同一预设值；将所述目标框对应的初始向量中的预设数量个分量替换为所述目标框对应的掩码特2CN113744281A权利要求书2/2页征向量，得到所述目标框对应的待扫描向量；对所述目标框对应的待扫描向量进行逆向扫描，得到所述掩码特征矩阵。8.根据权利要求5‑7中任一项所述的方法，其特征在于，所述方法由实例分割网络执行，所述实例分割网络通过以下步骤训练：对训练图像中的目标框对应的第一真值掩码进行稀疏编码，得到所述目标框对应的真值掩码向量；利用实例分割网络基于所述训练图像，得到所述目标框对应的预测掩码向量；基于所述目标框对应的真值掩码向量和预测掩码向量，更新所述实例分割网络的参数。9.一种实例分割网络训练装置，其特征在于，所述装置包括：编码单元，被配置为对训练图像中的目标框所对应的第一真值掩码进行稀疏编码，得到所述目标框对应的真值掩码特征向量；确定单元，被配置为利用实例分割网络，确定所述训练图像中的所述目标框所对应的预测掩码特征