实例分割模型的训练方法、实例分割方法、设备及介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114120055A(43)申请公布日2022.03.01(21)申请号202111267426.XG06K9/62(2022.01)(22)申请日2021.10.28G06N3/04(2006.01)(71)申请人广东能源集团科学技术研究院有限公司地址510630广东省广州市南沙区丰泽东路106号（自编1号楼）X1301-G9752(72)发明人许慧青陈旭肖思恒(74)专利代理机构广州三环专利商标代理有限公司44202代理人郭浩辉许羽冬(51)Int.Cl.G06V10/774(2022.01)G06V10/25(2022.01)G06V10/44(2022.01)G06V10/82(2022.01)权利要求书2页说明书14页附图4页(54)发明名称实例分割模型的训练方法、实例分割方法、设备及介质(57)摘要本申请公开了一种实例分割模型的训练方法、实例分割方法、设备及介质，训练方法在掩膜识别网络进行训练引入动态感兴趣区域特征对齐(DRA)，DRA按照包围框的长宽比将候选区域动态划分长度和宽度，并根据动态长度和动态宽度，对第一候选区域进行特征提取，实现第一候选区域在水平方向和垂直方向上采样均匀一致，避免在第一候选区域的较长边出现欠采样的情况，同时基于动态长度和动态宽度提取得到的掩膜数据，具有等比例缩放的特点，能够更好的表示细长目标的拓扑结构，有效避免细长目标出现畸变、扭曲和失真等情况，使得细长目标的分割结果更加精确，提高实例分割模型的适用范围。CN114120055ACN114120055A权利要求书1/2页1.一种实例分割模型的训练方法，其特征在于，包括：获取图像样本的标注数据和目标特征图，所述标注数据包括包围框标注数据和掩膜标注数据，所述包围框标注数据包括包围框长宽比标注数据，所述目标特征图上对应有第一候选区域；基于所述标注数据和目标特征图，对预设的细长目标实例分割模型中的包围框识别网络和掩膜识别网络进行迭代训练，直至所述细长目标实例分割模型达到预设收敛条件，停止训练，得到所述细长目标实例分割模型的最终训练结果；其中每次对所述掩膜识别网络进行训练时，包括以下步骤：基于所述包围框长宽比标注数据，确定所述目标特征图上的第一候选区域的动态长度和动态宽度；利用所述掩膜识别网络，根据所述动态长度和所述动态宽度，对所述第一候选区域进行特征提取，得到所述第一候选区域的掩膜数据；基于所述掩膜数据与所述掩膜标注数据之间的第一损失函数，更新所述掩膜识别网络的网络参数。2.如权利要求1所述的实例分割模型的训练方法，其特征在于，所述利用所述掩膜识别网络，根据所述动态长度和所述动态宽度，对所述第一候选区域进行特征提取，得到所述第一候选区域的掩膜数据，包括：根据所述动态长度和所述动态宽度，对所述第一候选区域进行特征提取，得到第一候选区域特征；利用预设的双层图卷积神经网络，根据所述第一候选区域特征，提取所述第一候选区域的图卷积特征，得到所述第一候选区域的掩膜数据。3.如权利要求2所述的实例分割模型的训练方法，其特征在于，所述利用预设的双层图卷积神经网络，根据所述第一候选区域特征，提取所述第一候选区域的图卷积特征，得到所述第一候选区域的掩膜数据，包括：对所述第一候选区域特征进行下采样，得到下采样后的第一候选区域特征；利用所述双层图卷积神经网络，对所述下采样后的第一候选区域特征进行线性变换，得到相似性邻接矩阵；基于所述相似性邻接矩阵，提取所述第一候选区域的图卷积特征，得到所述第一候选区域的掩膜数据。4.如权利要求1所述的实例分割模型的训练方法，其特征在于，每次对所述包围框识别网络进行训练时，包括以下步骤：利用所述包围框识别网络，提取所述目标特征图上的第一候选区域的包围框特征；基于所述包围框特征，识别所述第一候选区域的包围框类别、包围框坐标和包围框长宽比，得到所述第一候选区域的包围框数据；基于所述包围框数据与所述包围框标注数据之间的第二损失函数，更新所述包围框识别网络的网络参数。5.一种实例分割方法，其特征在于，包括：获取待分割图像的实例特征图，所述实例特征图上对应有第二候选区域；基于预设的实例分割模型，对所述实例特征图上的第二候选区域进行实例分割，得到2CN114120055A权利要求书2/2页所述第二候选区域的包围框实例数据和掩膜实例数据，所述实例分割模型为基于上述权利要求1至4任一项所述的训练方法对预设的细长目标实例分割模型进行训练后的最终训练结果。6.如权利要求5所述的实例分割方法，其特征在于，所述基于预设的实例分割模型，对所述实例特征图上的第二候选区域进行实例分割，得到所述第二候选区域的包围框实例数据和掩膜实例数据，包括：利用所述实例分割模型的包围框识别网络，提取所述实例