预览加载中，请您耐心等待几秒...

一种基于视频上下文信息融合的多模态密集视频描述方法.pdf

预览
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲，该文档总共16页，到这已经超出免费预览范围，如果喜欢就直接下载吧～

下载提示 文本预览

如果您无法下载资料，请参考说明：

1、部分资料下载需要金币，请确保您的账户上有足够的金币

2、已购买过的文档，再次下载不重复扣费

3、资料包下载后请先用软件解压，在使用对应软件打开

本发明公开了一种基于视频上下文信息融合的多模态密集视频描述方法,用于处理密集视频描述任务。本发明步骤如下:步骤(1)、数据预处理,提取视频多模态数据特征;步骤(2)、建立多模态密集视频描述网络,并引入时间?语义关系模块;步骤(3)、模型训练,优化描述生成器,得到模型在视频上的文本描述;模型通过采用稀疏采样和引入时间?语义关系模块,解决了视频描述任务中普遍存在的视频信息冗余以及视频事件与事件之间关系的引入问题,从而减少了模型的计算量,提高了生成句子的连贯性与一致性。在数据集上的实验表明,通过使用这两种方法,能够有效提升模型生成文本描述的效果与性能。