用于视频检索的方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114880517A(43)申请公布日2022.08.09(21)申请号202210592045.7(22)申请日2022.05.27(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人暨凯祥冯力国王剑陈景东刘家佳孙丝雨洪炜翔胡圻圻乔智曾小英(74)专利代理机构北京永新同创知识产权代理有限公司11376专利代理师林锦辉刘景峰(51)Int.Cl.G06F16/73(2019.01)G06F16/783(2019.01)G06F16/75(2019.01)权利要求书2页说明书10页附图3页(54)发明名称用于视频检索的方法及装置(57)摘要本说明书实施例提供了用于视频检索的方法及装置。在该方法中，获取待匹配视频中的视频帧图像；从视频帧图像中提取图像特征以及文本特征；根据用于表征聚类中心的中心变量对图像特征和所述文本特征进行特征融合，以得到融合特征，其中，中心变量用于将属于同一视频的不同模态的特征进行关联；以及根据融合特征在视频数据库中进行视频检索，以确定出视频数据库中与待匹配视频相匹配的视频，其中，视频数据库中存储有多个视频以及每个视频对应的视频特征。CN114880517ACN114880517A权利要求书1/2页1.一种用于视频检索的方法，包括：获取待匹配视频中的视频帧图像；从所述视频帧图像中提取图像特征以及文本特征；根据用于表征聚类中心的中心变量对所述图像特征和所述文本特征进行特征融合，以得到融合特征，其中，所述中心变量用于将属于同一视频的不同模态的特征进行关联；以及根据所述融合特征在视频数据库中进行视频检索，以确定出所述视频数据库中与所述待匹配视频相匹配的视频，其中，所述视频数据库中存储有多个视频以及每个视频对应的视频特征。2.如权利要求1所述的方法，其中，根据用于表征聚类中心的中心变量对所述图像特征和所述文本特征进行特征融合，以得到融合特征包括：通过所述中心变量对所述图像特征和所述文本特征进行特征对齐，以得到特征对齐后的图像特征和文本特征；以及将特征对齐后的图像特征和文本特征进行特征融合，以得到融合特征。3.如权利要求2所述的方法，其中，通过所述中心变量对所述图像特征和所述文本特征进行特征对齐处理，以得到特征对齐后的图像特征和文本特征包括：使用图像解码器将所述图像特征以所述中心变量所表征的聚类中心为基准进行特征对齐，以得到特征对齐后的图像特征；以及使用文本解码器将所述文本特征以所述中心变量所表征的聚类中心为基准进行特征对齐，以得到特征对齐后的文本特征，其中，所述文本解码器与所述图像解码器之间参数共享。4.如权利要求3所述的方法，其中，使用图像解码器将所述图像特征以所述中心变量所表征的聚类中心为基准进行特征对齐处理，以得到特征对齐后的图像特征包括：使用图像解码器计算所述图像特征对应的图像特征向量映射到所述中心变量所表征的聚类中心的第一距离；根据所述第一距离确定图像特征权重；以及根据所述图像特征权重和所述图像特征得到特征对齐后的图像特征。5.如权利要求3所述的方法，其中，使用文本解码器将所述文本特征以所述中心变量所表征的聚类中心为基准进行特征对齐处理，以得到特征对齐后的文本特征包括：使用文本解码器计算所述文本特征对应的文本特征向量映射到所述中心变量所表征的聚类中心的第二距离；根据所述第二距离确定文本特征权重；以及根据所述文本特征权重和所述文本特征得到特征对齐后的文本特征。6.如权利要求1所述的方法，其中，从所述视频帧图像中提取图像特征以及文本特征包括：使用图像编码器对所述视频帧图像进行图像特征提取，以得到所述视频帧图像的图像特征；对所述视频帧图像进行文本检测，以得到所述视频帧图像中包含的文本信息；以及使用文本编码器对所述文本信息进行文本特征提取，以得到所述文本信息对应的文本特征。2CN114880517A权利要求书2/2页7.如权利要求6所述的方法，其中，对所述视频帧图像进行文本检测，以得到所述视频帧图像中包含的文本信息包括：对所述视频帧图像中包括的招牌进行文本检测，以得到所述招牌中的文本信息。8.如权利要求7所述的方法，其中，对所述视频帧图像中包括的招牌进行文本检测，以得到所述招牌中的文本信息包括：使用招牌检测模型对所述视频帧图像中包括的招牌进行定位检测，以得到招牌显示区域；以及对所述招牌显示区域进行文本识别，以得到文本信息。9.如权利要求1所述的方法，其中，所述待匹配视频是业务推广作业时的商户场景视频，所述方法还包括：在从所述视频数据库中确定出与所述待匹配视频相匹配的视频时，确定所述待匹配视频中的商户是已完成业务推广的商户。10.一种用于视频检索的装置，包括：图像获取单元，获取待匹配