基于高位视频监控的视频目标分割方法以及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115909140A(43)申请公布日2023.04.04(21)申请号202211359896.3(22)申请日2022.11.02(71)申请人智慧互通科技股份有限公司地址075000河北省张家口市空港经济技术开发区一期十号楼(72)发明人冯澍闫昊丁丽珠王艳清(51)Int.Cl.G06V20/40(2022.01)G06V20/54(2022.01)G06V10/764(2022.01)G06V10/82(2022.01)G06V10/77(2022.01)G06N3/0464(2023.01)G06N3/048(2023.01)G06N3/08(2023.01)权利要求书4页说明书11页附图2页(54)发明名称基于高位视频监控的视频目标分割方法以及系统(57)摘要本申请公开一种基于高位视频监控的视频目标分割方法以及系统。方法包括：将每个交通场景视频片段对应的聚合特征输入至视频自注意力机制结构中，输出每个交通场景视频片段对应的视频级特征；将每个交通场景视频片段中每个视频图像帧对应的聚合特征输入至图像自注意力机制结构中，输出每个交通场景视频片段对应的图像级特征；将每个交通场景视频片段对应的聚合特征输入至卷积神经网络结构中，输出每个交通场景视频片段对应的目标级特征；将视频级特征、图像级特征以及目标级特征进行对齐拼接，获得每个交通场景视频片段对应的整体特征；将整体特征输入至全卷积神经网络结构中，输出每个目标对象对应的目标视频与预测概率。CN115909140ACN115909140A权利要求书1/4页1.一种基于高位视频监控的视频目标分割方法，其特征在于，包括：获取多个交通场景视频片段，并对每个所述交通场景视频片段中多个目标对象进行分割标注，获得每个所述交通场景视频片段对应的多个目标分割标签；将分割标注后的每个所述交通场景视频片段输入至视频目标分割模型的特征聚合提取结构中，输出每个所述交通场景视频片段对应的聚合特征；将每个所述交通场景视频片段对应的聚合特征输入至所述视频目标分割模型的视频自注意力机制结构中，输出每个所述交通场景视频片段对应的视频级特征；将每个所述交通场景视频片段中每个视频图像帧对应的聚合特征输入至所述视频目标分割模型的图像自注意力机制结构中，输出每个所述交通场景视频片段对应的图像级特征；将每个所述交通场景视频片段对应的聚合特征输入至所述视频目标分割模型的卷积神经网络结构中，输出每个所述交通场景视频片段对应的目标级特征；在通道维度上，将每个所述交通场景视频片段对应的所述视频级特征、所述图像级特征以及所述目标级特征进行对齐拼接，获得每个所述交通场景视频片段对应的整体特征；将所述整体特征输入至所述视频目标分割模型的全卷积神经网络结构中，输出每个所述目标对象对应的目标视频与预测概率；根据每个所述目标对象对应的所述预测概率与所述多个目标分割标签，构建目标分割损失函数，并根据所述目标分割损失函数对所述视频目标分割模型进行模型训练，获得训练完成的视频目标分割模型。2.根据权利要求1所述的基于高位视频监控的视频目标分割方法，其特征在于，所述将每个所述交通场景视频片段对应的聚合特征输入至所述视频目标分割模型的视频自注意力机制结构中，输出每个所述交通场景视频片段对应的视频级特征，包括：将每个所述交通场景视频片段对应的聚合特征转换为视频二维特征；将所述视频二维特征分别输入至所述视频自注意力机制结构的三个卷积模块中进行特征转换，获得第一视频级转换特征、第二视频级转换特征以及第三视频级转换特征；在通道维度上，对所述第一视频级转换特征与所述第二视频级转换特征进行归一化，计算每个所述交通场景视频片段中视频帧之间的关系矩阵；根据所述视频帧之间的关系矩阵、所述第三视频级转换特征以及所述交通场景视频片段对应的聚合特征，计算获得所述视频级特征；所述视频级特征为FVideo′＝RVideoVVideo+FVideo；其中，RVideo表示所述视频帧之间的关系矩阵，QVideo表示所述第一视频级转换特征，KVideo表示所述第二视频级转换特征，VVideo表示所述第三视频级转换特征，FVideo表示所述交通场景视频片段对应的聚合特征。3.根据权利要求1所述的基于高位视频监控的视频目标分割方法，其特征在于，所述将每个所述交通场景视频片段中每个视频图像帧对应的聚合特征输入至所述视频目标分割模型的图像自注意力机制结构中，输出每个所述交通场景视频片段对应的图像级特征，包2CN115909140A权利要求书2/4页括：将每个所述交通场景视频片段中每个所述视频图像帧对应的聚合特征转换为图像二维特征；将所述图像二维特征分别输入至所述图像自注意力机制结构的三个卷积模块中进行特征转换，获得第一图像级转换特征