一种视频检索方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114201646A(43)申请公布日2022.03.18(21)申请号202110694991.8(22)申请日2021.06.22(71)申请人云南昆钢电子信息科技有限公司地址650000云南省昆明市安宁市昆钢朝阳路(72)发明人许斌马优敏皮坤贾鹏杰马昭微王开超邝昌云(74)专利代理机构昆明正原专利商标代理有限公司53100代理人徐玲菊亢能(51)Int.Cl.G06F16/783(2019.01)G06V20/40(2022.01)G06V10/82(2022.01)G06N3/04(2006.01)权利要求书2页说明书5页附图1页(54)发明名称一种视频检索方法和系统(57)摘要本发明涉及一种视频检索方法和系统，该方法基于ResNet深度神经网络提取待检索图片的深层特征向量，将提取到的特征向量数据运用Milvus向量搜索引擎从分布式的大数据存储系统中快速地检索出相似向量的结果集，基于该结果集进行分析处理，最终得到与带检索图片内容高度相似的视频文件。运用本发明的方法后，通过向检索系统输入一张含有嫌疑目标的图片，将在最快20秒内返回包含目标图片相似特征的视频文件，大大提高了检索效率，降低了人工成本，带来巨大的经济效益。CN114201646ACN114201646A权利要求书1/2页1.一种视频检索方法，其特征在于：按以下进行：采集视频文件，上传存入大数据分布式文件系统中，并记录存储路径或ID；逐帧切分视频文件，并将帧数据形成帧快照图片；提取帧快照图片的深度特征，得到特征向量集；调用Milvus向量搜索引擎将所述提取的特征向量集与原视频文件ID的对应关系，通过Insert接口存入HBase数据库中；将目标图片缩放，输入到ResNet50网络中进行深度特征提取，形成一条特征向量数据；对所述特征向量数据进行向量相似度检索，检索结果集包括与所述目标图片特征向量相似程度较高的帧向量ID及其对应视频文件ID；将检索结果集按与目标图片相似度百分比，由高到低排列，选取相似度百分比最高的视频文件ID，通过所述视频文件ID迅速定位到存储于大数据分布式文件系统中的视频文件，并将视频文件反馈给用户。2.根据权利要求1所述的视频检索方法，其特征在于：利用视频流处理算子将视频文件按逐帧进行切分。3.根据权利要求1所述的视频检索方法，其特征在于：提取帧快照图片的深度特征按以下进行：将每一帧快照图片缩放成224*224的3通道图像输入的形状输入到ResNet50网络中进行深度特征提取形成特征向量集。4.根据权利要求1所述的视频检索方法，其特征在于：通过调用Milvus向量搜索引擎的Insert接口将所述提取的特征向量集与原视频文件ID的对应关系存入HBase数据库中。5.根据权利要求1所述的视频检索方法，其特征在于：将所述目标图片缩放成224*224*3的形状输入到ResNet50网络中进行深度特征提取，形成一条特征向量数据；将所述特征向量数据传入Milvus向量搜索引擎的Search接口，通过该接口进行向量相似度检索。6.一种视频检索系统，其特征在于：包括采集单元、处理单元和存储单元；存储单元包括大数据分布式文件系统和HBase数据库；采集单元采集视频文件和目标图片；将视频文件上传存入大数据分布式文件系统中，并记录存储路径或ID；处理单元逐帧切分视频文件，并将帧数据形成帧快照图片；提取帧快照图片的深度特征，得到特征向量集；调用Milvus向量搜索引擎将所述提取的特征向量集与原视频文件ID的对应关系，通过Insert接口存入HBase数据库中；将目标图片缩放，输入到ResNet50网络中进行深度特征提取，形成一条特征向量数据；对所述特征向量数据进行向量相似度检索，检索结果集包括与所述目标图片特征向量相似程度较高的的帧向量ID及其对应视频文件ID；将检索结果集按与目标图片相似度百分比，由高到低排列，选取相似度百分比最高的视频文件ID，通过所述视频文件ID迅速定位到存储于大数据分布式文件系统中的视频文件，并将视频文件反馈给用户。7.根据权利要求6所述的视频检索系统，其特征在于：提取帧快照图片的深度特征按以2CN114201646A权利要求书2/2页下进行：将每一帧快照图片缩放成224*224的3通道图像输入的形状输入到ResNet50网络中进行深度特征提取形成特征向量集。8.根据权利要求6所述的视频检索系统，其特征在于：将所述目标图片缩放成224*224*3的形状输入到ResNet50网络中进行深度特征提取，形成一条特征向量数据；将所述特征向量数据传入Milvus向量搜索引擎的Search接口，通过该接口进行向量相似度检索。9.一种电子设备，包括存储器、处理器以及在存储器上，并可