一种视频关键帧检测方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110147745A(43)申请公布日2019.08.20(21)申请号201910384360.9(22)申请日2019.05.09(71)申请人深圳市腾讯计算机系统有限公司地址518000广东省深圳市南山区高新区高新南一路飞亚达大厦5－10楼(72)发明人宋浩黄珊(74)专利代理机构深圳翼盛智成知识产权事务所(普通合伙)44300代理人黄威(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书2页说明书10页附图4页(54)发明名称一种视频关键帧检测方法及装置(57)摘要本发明实施例公开了一种视频关键帧检测方法及装置，应用于信息处理技术领域。在本实施例的方法中，视频关键帧检测装置会获取待检测视频的视频帧对，然后再分别检测视频帧对的两个视频帧中是否包含文本信息，且计算两个视频帧之间的相似度，进而根据视频帧对的文本检测结果及相似度，对视频帧对进行合并，进而可以得到待检测视频的关键帧。通过结合待检测视频的视频帧中的文本信息及相似度，确定关键帧，可以将只关注文本变化而不关注场景变换的待检测视频(比如某些音乐视频等)中的关键帧挑选出来，进而能快速、准确地确定这些待检测视频的具体内容。CN110147745ACN110147745A权利要求书1/2页1.一种视频关键帧检测方法，其特征在于，包括：获取待检测视频的视频帧对，所述视频帧对中包括相邻的两个视频帧；分别检测所述视频帧对包括的两个视频帧中是否包含文本信息，得到视频帧对的文本检测结果；计算所述视频帧对中两个视频帧之间的相似度；根据所述视频帧对的文本检测结果及相似度，对所述视频帧对进行合并，并将合并后的视频帧作为所述待检测视频的关键帧。2.如权利要求1所述的方法，其特征在于，所述分别检测所述视频帧对包括的两个视频帧中是否包含文本信息，得到视频帧对的文本检测结果，具体包括：将所述两个视频帧的信息分别输入孪生网络模型中的两个子网络模型，所述两个子网络模型分别提取相应视频帧的特征信息，并根据相应特征信息输出视频帧中是否包含文本信息的文本检测结果；所述孪生网络模型中还包括连接网络，则所述计算所述视频帧对中两个视频帧之间的相似度，具体包括：所述连接网络根据所述两个子网络模型分别提取的视频帧的特征信息，计算所述两个视频帧之间的相似度。3.如权利要求2所述的方法，其特征在于，所述方法还包括：确定孪生网络初始模型，所述孪生网络初始模型包括所述两个子网络模型和连接网络；确定训练样本，所述训练样本中包括多个样本图像对，每个样本图像对包括两个样本图像，及所述两个样本图像中是否包含文本信息和所述两个样本图像是否相似的标注信息；通过所述孪生网络初始模型分别确定各个样本图像对中各个样本图像中是否包含文本信息，及各个样本图像对中两个样本图像之间的相似度的初始结果；根据所述孪生网络初始模型确定的初始结果，及所述训练样本中的标注信息，调整所述孪生网络初始模型中的固定参数值，以得到最终的孪生网络模型。4.如权利要求3所述的方法，其特征在于，当对所述固定参数值的调整次数等于预置的次数时，或当当前调整的固定参数值与上一次调整的固定参数值的差值小于一阈值时，则停止对所述固定参数值的调整。5.如权利要求3所述的方法，其特征在于，所述调整所述孪生网络初始模型中的固定参数值，具体包括:按照预置的调整参数，调整所述两个子网络模型在确定样本图像中是否包含文本信息时的第一固定参数值；更新所述预置的调整参数，按照更新后的调整参数，调整所述孪生网络初始模型中的第二固定参数值，所述第二固定参数值是所述孪生网络初始模型中除所述第一固定参数值之外的其它固定参数值。6.如权利要求1至5任一项所述的方法，其特征在于，所述根据所述视频帧对的文本检测结果及相似度，对所述视频帧对进行合并，具体包括：当所述视频帧对的两个视频帧中都包含文本信息，且所述两个视频帧之间的相似度大2CN110147745A权利要求书2/2页于某一阈值时，则将其中任一视频帧作为合并后的视频帧；当所述两个视频帧中某一视频帧中包括文本信息，且所述两个视频帧之间的相似度大于某一阈值时，则将包含文本信息的视频帧作为合并后的视频帧。7.一种视频关键帧检测装置，其特征在于，包括：帧对获取单元，用于获取待检测视频的视频帧对，所述视频帧对中包括相邻的两个视频帧；文本检测单元，用于分别检测所述视频帧对包括的两个视频帧中是否包含文本信息，得到视频帧对的文本检测结果；相似度单元，用于计算所述视频帧对中两个视频帧之间的相似度；关键帧确定单元，用于根据所述视频帧对的文本检测结果及相似度，对所述视频帧对进行合并，并将合并后的视频帧作为所述待检测视频的关键帧。8.如权利要求7所述的装置，其特