基于时空记忆信息的视频实例分割方法和分割装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114241388A(43)申请公布日2022.03.25(21)申请号202111581049.7G06V10/82(2022.01)(22)申请日2021.12.22G06N3/04(2006.01)G06K9/62(2022.01)(71)申请人中国科学院深圳先进技术研究院地址518055广东省深圳市南山区深圳大学城学苑大道1068号(72)发明人周翊民马壮(74)专利代理机构深圳市铭粤知识产权代理有限公司44304代理人孙伟峰刘燚圣(51)Int.Cl.G06V20/40(2022.01)G06V10/26(2022.01)G06V10/28(2022.01)G06V10/764(2022.01)G06V10/766(2022.01)权利要求书3页说明书8页附图4页(54)发明名称基于时空记忆信息的视频实例分割方法和分割装置(57)摘要本发明公开了一种基于时空记忆信息的视频实例分割方法和分割装置。视频实例分割方法包括：获取视频中当前帧图像的待分割实例的查询键特征图和查询值特征图以及各幅记忆帧图像中待分割实例的记忆键特征图和记忆值特征图；计算各幅记忆帧图像中待分割实例的记忆键特征图在进行注意力匹配时的权重值；按照从大至小的顺序从所有权重值选出预定数目的权重值作为权重系数；根据各个权重系数、各个权重系数对应的记忆帧图像的记忆键特征图和记忆值特征图得到具有加权时空信息的全局特征图；根据全局特征图、查询键特征图和查询值特征图得到当前帧图像的实例分割结果。该方法可以充分利用记忆帧图像的历史信息，提高了分割结果的鲁棒性。CN114241388ACN114241388A权利要求书1/3页1.一种基于时空记忆信息的视频实例分割方法，其特征在于，所述视频实例分割方法包括：获取视频中当前帧图像的待分割实例的查询键特征图和查询值特征图以及各幅记忆帧图像中所述待分割实例的记忆键特征图和记忆值特征图，其中所述记忆帧图像为视频中在所述当前帧图像之前的含有所述待分割实例的历史帧图像；计算各幅所述记忆帧图像中所述待分割实例的记忆键特征图在进行注意力匹配时的权重值；按照从大至小的顺序从所有权重值选出预定数目的权重值作为权重系数；根据各个所述权重系数、各个所述权重系数对应的记忆帧图像的记忆键特征图和记忆值特征图得到具有加权时空信息的全局特征图；根据所述全局特征图、所述查询键特征图和所述查询值特征图得到当前帧图像的实例分割结果。2.根据权利要求1所述的基于时空记忆信息的视频实例分割方法，其特征在于，获取视频中当前帧图像的待分割实例的查询键特征图和查询值特征图的方法包括：对所述当前帧图像进行特征提取，获得若干不同尺度的特征图；根据若干不同尺度的所述特征图得到所述待分割实例的中心点和边界框以及所述当前帧图像的整体查询键特征图和整体查询值特征图；根据所述待分割实例的中心点和边界框分别对所述当前帧图像的整体查询键特征图、整体查询值特征图进行二值化处理，获得所述待分割实例的查询键特征图和查询值特征图。3.根据权利要求1所述的基于时空记忆信息的视频实例分割方法，其特征在于，获取视频中各幅记忆帧图像中所述待分割实例的记忆键特征图和记忆值特征图的方法包括：获取视频中在所述当前帧图像之前的所有历史帧图像对应的分割结果、原图、各个实例的中心点和边界框；根据历史帧图像对应的分割结果、原图得到所述历史帧图像的整体记忆键特征图和整体记忆值特征图；根据所述历史帧图像中各个实例的中心点和边界框分别对所述历史帧图像的整体记忆键特征图、整体记忆值特征图进行二值化操作，获得所述历史帧图像中各个实例的记忆键特征图和记忆值特征图；根据所述待分割实例的类别从各幅所述历史帧图像中各个实例的记忆键特征图和记忆值特征图筛选出各幅记忆帧图像中所述待分割实例的记忆键特征图和记忆值特征图。4.根据权利要求1所述的基于时空记忆信息的视频实例分割方法，其特征在于，计算各幅所述记忆帧图像中所述待分割实例的记忆键特征图在进行注意力匹配时的权重值的方法包括：将各幅所述记忆帧图像中所述待分割实例的记忆键特征图进行空间连接，获得通道维度相连的特征图；对所述通道维度相连的特征图进行全局池化处理，得到各个权重值。5.根据权利要求4所述的基于时空记忆信息的视频实例分割方法，其特征在于，所述视频实例分割方法还包括：2CN114241388A权利要求书2/3页确定所述待分割实例在所述当前帧图像的预测区域以及所述待分割实例在与所述当前帧图像相邻的记忆帧图像中的历史区域；计算所述预测区域和所述历史区域之间的余弦相似度，其中所述余弦相似度的值大于0且小于1；根据所述余弦相似度和含有所述待分割实例的记忆帧图像的总数确定所述预定数目。6.根据权利要求1所述的基于时空