一种局部语义指导的多特征融合视频文本生成方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116013299A(43)申请公布日2023.04.25(21)申请号202211405410.5(22)申请日2022.11.10(71)申请人江南大学地址214122江苏省无锡市滨湖区蠡湖大道1800号(72)发明人徐天阳赖丽娜张赟捷宋晓宁朱学峰吴小俊(74)专利代理机构苏州市中南伟业知识产权代理事务所(普通合伙)32257专利代理师夏苏娟(51)Int.Cl.G10L15/26(2006.01)H04N19/20(2014.01)H04N21/485(2011.01)权利要求书2页说明书9页附图3页(54)发明名称一种局部语义指导的多特征融合视频文本生成方法(57)摘要本发明公开了一种局部语义指导的多特征融合视频文本生成方法、装置、设备以及计算机可读存储介质，包括构建并训练视频文本生成模型，将视频片段输入训练好的视频文本生成模型中；提取视频片段中预设帧数的局部空间语义特征；提取视频片段的全局空间语义特征；提取全局空间语义特征中的时间序列特征；将局部空间语义特征、全局空间语义特征和时间序列特征融合；并融合后进行平均池化操作，得到全局平均池化特征；将融合特征和全局平均池化特征输入编码器中进行编码‑解码模块中，得到视频片段的视频字幕。本发明融合局部、全局和时间序列特征，使获得语义更丰富，干扰更小，关键信息更多的视频字幕。CN116013299ACN116013299A权利要求书1/2页1.一种局部语义指导的多特征融合视频文本生成方法，其特征在于，包括：构建并训练视频文本生成模型，将视频片段输入训练好的视频文本生成模型中；提取所述视频片段中预设帧数的局部空间语义特征；提取所述视频片段的全局空间语义特征；提取所述全局空间语义特征中的时间序列特征；将所述局部空间语义特征、所述全局空间语义特征和所述时间序列特征级联得到融合特征；将所述融合特征进行平均池化操作，得到全局平均池化特征；将所述融合特征和所述全局平均池化特征输入编码器‑解码器模块，得到预测视频字幕。2.如权利要求1所述的视频文本生成方法，其特征在于，所述提取所述视频片段中预设帧数的的局部空间语义特征包括：提取所述视频片段中所述预设帧数的视频片段；利用Faster‑RCNN目标检测器提取所述预设帧数视频片段中的局部空间语义；利用ResNet50的Conv5层提取所述局部空间语义中的目标特征；利用多层感知器模块处理所述目标特征，得到所述局部空间语义特征。3.如权利要求1所述的视频文本生成方法，其特征在于，所述提取所述视频片段的全局空间语义特征包括：利用CLIP4Clip模型提取所述视频片段的空间语义信息，得到所述全局空间语义特征。4.如权利要求1所述的视频文本生成方法，其特征在于，所述提取所述全局空间语义特征中的时间序列特征包括：利用GRU模块循环提取所述全局空间语义特征中每一时刻与下一时刻之间的时间线索，得到多个时间线索；将所述多个时间线索进行融合得到所述时间序列特征。5.如权利要求1所述的视频文本生成方法，其特征在于，所述将所述局部空间语义特征、所述全局空间语义特征和所述时间序列特征级联得到融合特征包括：将所述局部空间语义特征和所述全局空间语义特征通过线性投影层进行同步维度；将同步维度后的所述局部空间语义特征、所述全局空间语义特征和所述时间序列特征进行级联融合，得到所述融合特征。6.如权利要求1所述的视频文本生成方法，其特征在于，所述训练视频文本生成模型包括：将训练视频片段输入所述视频文本生成模型中进行训练，得到预测视频字幕；提取所述训练视频片段的真实视频字幕；计算所述预测视频字幕和所述预测视频字幕的交叉熵和对称交叉熵；根据所述交叉熵和所述对称交叉熵构建损失函数，直至损失函数收敛，则所述视频文本生成模型完成训练。7.如权利要求6所述的视频文本生成方法，其特征在于，所述根据所述交叉熵和所述对称交叉熵构建损失函数包括：2CN116013299A权利要求书2/2页根据所述交叉熵损失和对称交叉熵构建所述损失函数Lsl＝λ1Lce+λ2Lrce；其中P和Q分别为预测视频字幕和真实视频字幕，Lce为正常交叉熵损失，Lrce为对称交叉熵损失，λ1，λ2为超参数，L为预测文本的词总数，t为预测文本中第几个词。8.一种局部语义指导的多特征融合视频文本生成装置，其特征在于，包括：训练模块，用于构建并训练视频文本生成模型，将视频片段输入训练好的视频文本生成模型中；局部特征提取模块，用于提取所述视频片段中预设帧数的的局部空间语义特征；全局特征提取模块，用于提取所述视频片段的全局空间语义特征；时间序列特征提取模块，用于提取所述全局空间语义特征中的时间序列特征；融合特征模块，用于将所述局部空间语义特征、所述全局空间语义特征和所述时间序列特