一种基于视频时空上下文的视频人物关系分析方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113642482A(43)申请公布日2021.11.12(21)申请号202110946018.0(22)申请日2021.08.18(71)申请人西北工业大学地址710072陕西省西安市友谊西路127号(72)发明人张顺梅少辉李昌跃王茹(74)专利代理机构西北工业大学专利中心61204代理人金凤(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书4页说明书12页附图6页(54)发明名称一种基于视频时空上下文的视频人物关系分析方法(57)摘要本发明公开了一种基于视频时空上下文的视频人物关系分析方法，通过时序和空间信息分析来挖掘视频中的人物关系网络，来从新的角度和深度分析视频内容。该方法首先对视频数据进行预处理，包括进行视频镜头和场景的切分、人物特征提取和聚类。其次，根据预处理的结果使用基于上下文高斯加权的方法来计算人物的某个视频镜头的共生关系。最后，融合空间位置对视频人物关系的贡献信息，判断和计算更具体和准确的共生关系，修正时序共生关系方法的量化结果，提高视频人物关系分析的准确率。本发明可有效提高视频用户对感兴趣目标查询的效率，降低人物查询的工作量，提高人物关系挖掘的准确性。CN113642482ACN113642482A权利要求书1/4页1.一种基于视频时空上下文的视频人物关系分析方法，其特征在于，包括以下步骤：步骤1：对视频数据进行预处理，将视频镜头和场景进行切分，提取人物特征和聚类：步骤1‑1：在包含人脸类别的离线人脸数据集上，使用监督式方法预训练人脸CNN模型；步骤1‑2：检测视频中的镜头切换，将视频分成多个无重叠的镜头片段；对视频每帧图像使用人脸检测器检测人脸目标，在每个镜头片段中关联人脸检测响应生成可靠的轨迹片段；根据轨迹片段间的限制信息，自动生成大量的正负训练样本；步骤1‑3：正负训练样本以三元组的方式训练改进的Triplet网络，在线学习判别性人脸特征；训练过程中，改进的Triplet网络使用预训练的人脸CNN模型进行参数初始化；步骤1‑4：对每个检测响应求解目标身份；在每个镜头片段中，结合人脸目标的外观及运动信息使用基于概率图模型的多目标数据关联算法；步骤1‑5：使用层次化合并聚类算法关联不同镜头片段中的轨迹片段，形成最终的目标轨迹；步骤2：根据步骤1预处理的结果使用基于上下文高斯加权的方法计算人物在视频镜头的共生关系；步骤3：根据空间位置对视频人物关系的影响，融合时空上下文建立人物关系模型；步骤4：根据人物关系模型绘制人物关系图。2.根据权利要求1所述的一种基于视频时空上下文的视频人物关系分析方法，其特征在于，所述步骤1‑1中使用的深度卷积神经网络是残差网络ResNet‑50神经网络，同时使用sigmoid损失函数进行监督式训练学习人脸目标的判别特征；学习的离线人脸数据集是VGG‑Face2人脸识别数据集。3.根据权利要求2所述的一种基于视频时空上下文的视频人物关系分析方法，其特征在于，所述步骤1‑2生成大量的正负训练样本的具体方法为：步骤1‑2‑1：利用镜头自动分割方法检测视频中所有的镜头切换，再将待处理的视频划分成多个无重叠的镜头片段；步骤1‑2‑2：利用人脸检测器，对视频每一帧图像进行人脸检测，生成人脸检测响应集X＝{x1，...，xR}，其中R是生成所有检测响应的数目；步骤1‑2‑3：从单摄像机数据关联生成的高置信度轨迹片段T＝{T1，...，TM}中，挖掘视th频上下文时空约束信息，并收集训练样本，其中是长度为ni的第i个人脸轨迹片段，M为轨迹片段总数；步骤1‑2‑4：利用两种时空限制信息：(1)属于同一类别的约束信息：同一个轨迹片段上的所有检测响应判定为属于同一个类别；(2)属于不同类别的约束信息：当两个轨迹片段在同一帧图像上同时出现时，这两个轨迹片段各自的检测响应属于不同类别；根据从待跟踪的视频中发现的时空约束信息，在线生成大量的人脸正负训练样本；M×Mij定义矩阵H∈R，如果两个轨迹片段T和T在某一时刻同时出现，矩阵的元素Hi，j取值+为1，否则的话Hi，j＝0；根据属于同一类别的约束信息，收集正样本集P：根据属于不同类别的约束信息，收集负样本集N‑：2CN113642482A权利要求书2/4页4.根据权利要求3所述的一种基于视频时空上下文的视频人物关系分析方法，其特征在于，所述步骤1‑3的具体步骤为：+‑步骤1‑3‑1：对于样本集P和N的一对训练图像x1和x2，使用人脸CNN特征空间上的欧式平方距离D(f(x1)，f(x2))度量x1和x2的相似性：图像对x1和x2的相似性越大，人脸特征f(x1)和