一种视频语义分割装置、训练方法以及视频语义分割方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114283352A(43)申请公布日2022.04.05(21)申请号202111342624.8(22)申请日2021.11.12(71)申请人北京旷视科技有限公司地址100096北京市海淀区西三旗建材城内建中路12幢一层1268号申请人北京迈格威科技有限公司(72)发明人马志明(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人唐正瑜(51)Int.Cl.G06V20/40(2022.01)G06V10/26(2022.01)G06V10/74(2022.01)G06K9/62(2022.01)权利要求书2页说明书16页附图7页(54)发明名称一种视频语义分割装置、训练方法以及视频语义分割方法(57)摘要本申请实施例提供一种视频语义分割装置、训练方法以及视频语义分割方法，其中，所述视频语义分割方法包括：从待分割视频中获取与当前帧图像相邻的图像作为所述当前帧图像的参考图像；获取至少一帧参考图像中各参考图像的图像特征以及语义识别结果，其中，所述至少一帧参考图像是在视频序列中与当前帧图像相邻的前一帧或多帧图像；将所述各参考图像的图像特征、所述各参考图像的语义识别结果和所述当前帧图像输入视频语义分割模型，得到所述当前帧图像的语义分割结果。与相关技术既提升了语义分割的准确度又提升了语义分割的速度，并最终实现了实时的视频语义分割。CN114283352ACN114283352A权利要求书1/2页1.一种视频语义分割方法，其特征在于，所述视频语义分割方法包括：从待分割视频中获取与当前帧图像相邻的图像作为所述当前帧图像的参考图像；获取所述参考图像的图像特征和语义识别结果；将所述参考图像的图像特征、所述参考图像的语义识别结果和所述当前帧图像输入视频语义分割模型，并通过所述视频语义分割模型得到所述当前帧图像的语义分割结果。2.如权利要求1所述的视频语义分割方法，其特征在于，所述通过所述视频语义分割模型得到所述当前帧图像的语义分割结果，包括：获得所述当前帧图像与所述参考图像之间的特征相似度；根据所述特征相似度确定所述参考图像的语义识别结果对所述语义分割结果的影响程度；至少根据所述影响程度得到所述当前帧图像的语义分割结果。3.如权利要求2所述的视频语义分割方法，其特征在于，所述获得所述当前帧图像与所述参考图像之间的特征相似度，包括：获取所述当前帧图像的图像特征；根据所述当前帧图像的图像特征和所述参考图像的图像特征确定所述特征相似度。4.如权利要求2‑3任一项所述的视频语义分割方法，其特征在于，所述根据所述特征相似度确定所述参考图像的语义识别结果对所述语义分割结果的的影响程度，包括：根据所述参考图像与所述当前帧图像之间的特征相似度调整所述参考图像的语义分割结果，得到所述参考图像的参考语义分割结果，其中，所述参考语义分割结果用于表征所述影响程度；所述至少根据所述影响程度得到所述当前帧图像的语义分割结果，包括：获取所述当前帧图像的预分割特征；根据所述参考语义分割结果和所述预分割特征得到所述当前帧图像的语义分割结果。5.如权利要求1‑4任一项所述的视频语义分割方法，其特征在于，所述视频语义分割模型包括：编码器、解码器、乘法模块和相似度计算模块，且所述解码器包括多级上采样层和微调模块；所述通过所述视频语义分割模型得到所述当前帧图像的语义分割结果，包括：通过所述编码器和多级上采样层得到所述当前帧图像的预分割特征；通过所述编码器获取所述当前帧图像的图像特征；将所述当前帧图像的图像特征和所述参考图像的图像特征输入所述相似度计算模块，得到所述参考图像与所述当前帧图像之间的特征相似度；通过所述乘法模块将所述参考图像与所述当前帧图像之间的特征相似度与所述参考图像的分割掩码相乘，得到所述参考图像的参考语义分割结果；通过所述微调模块根据所述参考图像的参考语义分割结果以及所述预分割特征，得到所述当前帧图像的语义分割结果。6.如权利要求5所述的视频语义分割方法，其特征在于，所述参考语义分割结果对应参考分割掩码，且所述微调模块包括所述多级上采样层中的最后一级上采样层，其中，所述通过所述微调模块根据所述参考图像的参考语义分割结果以及所述预分割特征，得到所述当前帧图像的语义分割结果，包括：2CN114283352A权利要求书2/2页将所述参考图像的参考分割掩码与所述预分割特征在通道上进行拼接并输入到所述微调模块；通过所述微调模块执行的卷积操作获取所述当前帧图像的分割掩码。7.如权利要求1‑6任一项所述的视频语义分割方法，其特征在于，所述参考图像的图像特征是在获取所述参考图像的语义分割结果时由所述视频语义分割模型包括的编码器得到的。8.如权利要求1‑7任一项所述的方法，其特征在于