一种基于跨媒介数据的人物图谱关系识别方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115953716A(43)申请公布日2023.04.11(21)申请号202211685665.1(22)申请日2022.12.27(71)申请人中山大学地址510275广东省广州市海珠区新港西路135号(72)发明人周凡林格林淑金(74)专利代理机构广州粤高专利商标代理有限公司44102专利代理师高棋(51)Int.Cl.G06V20/40(2022.01)G06V40/16(2022.01)G06V30/14(2022.01)G06V10/80(2022.01)权利要求书4页说明书8页附图3页(54)发明名称一种基于跨媒介数据的人物图谱关系识别方法及系统(57)摘要本发明公开了一种基于跨媒介数据的人物图谱关系识别方法及系统，涉及计算机视觉的技术领域；包括获取视频数据和文本数据；对视频数据进行镜头分割处理和关键帧提取，获得视频镜头分割集和每个视频镜头的关键帧；对关键帧提取视觉特征和人脸特征，获得场景分割集和视频人物实体集；融合关键帧视觉特征和场景分割集，获得故事分割集，构建基于视频的人物图谱；利用视频镜头分割集对文本数据进行分割和人物提取，获得文本人物集；基于场景分割集与文本人物集，构建基于文本的人物图谱；聚合基于视频的人物图谱和基于文本的人物图谱，获得最终人物图谱，分析识别出人物关系。本发明构建出的最终人物图谱更加符合实际，能够识别出更准确的人物关系。CN115953716ACN115953716A权利要求书1/4页1.一种基于跨媒介数据的人物图谱关系识别方法，其特征在于，包括：S1：获取对应的视频数据和文本数据；S2：对视频数据依次进行镜头分割处理和关键帧提取，获得视频镜头分割集和每个视频镜头的关键帧；S3：对每个视频镜头的关键帧分别进行视觉特征提取和人脸特征提取，获得关键帧视觉特征和关键帧人脸特征；并基于关键帧视觉特征获得场景分割集，基于关键帧人脸特征获得视频人物实体集；S4：融合关键帧视觉特征和场景分割集，获得故事分割集；S5：根据视频数据、视频镜头分割集、场景分割集、故事分割集和视频人物实体集，构建基于视频的人物图谱；S6：根据视频镜头分割集对文本数据进行分割，获得文本镜头分割集；并对每个文本镜头进行人物提取，获得文本人物集；S7：基于场景分割集与文本人物集，构建基于文本的人物图谱；S8：聚合基于视频的人物图谱和基于文本的人物图谱，获得最终人物图谱；S9：对最终人物图谱进行分析，识别并输出人物关系。2.根据权利要求1所述的基于跨媒介数据的人物图谱关系识别方法，其特征在于，所述步骤S2的具体方法为：利用镜头边界检测方法对视频数据进行镜头分割，获得视频镜头分割集；利用关键帧提取方法，对视频镜头分割集中的每个视频镜头进行关键帧提取，获得每个视频镜头的关键帧。3.根据权利要求1所述的基于跨媒介数据的人物图谱关系识别方法，其特征在于，所述步骤S3中，获得场景分割集的具体方法为：S311：利用特征金字塔方法对每个视频镜头的关键帧进行视觉特征提取，并拉伸为向量表示，获得关键帧视觉特征；S312：利用关键帧视觉特征，计算镜头间相似度；具体的：式中，SSi,j表示第i个镜头与第j个镜头间的相似度，FSi表示第i个镜头的关键帧视觉特征，FSj表示第j个镜头的关键帧视觉特征；wm(*)关键帧视觉特征第m维度的特征向量值，M表示维度数量；S313：设置窗口长度，将窗口内每个镜头依次作为当前镜头，时间先于当前镜头的镜头作为先前镜头；根据镜头间相似度，获得每个镜头与先前镜头的相似性；具体的：SCi＝max1≤k≤N(SSi,i‑k)式中，SCi表示第i个镜头与先前镜头的相似性，SSi,i‑k表示第i个镜头与该镜头前k个镜头的相似度；N表示窗口长度；S314：将相似性取极小值时对应的镜头作为场景分割点镜头，按照视频时间的先后顺序进行分割，获得场景分割集，记为B＝{b1,b2,…,bi,…}，其中，bi表示第i个场景分割点镜头。2CN115953716A权利要求书2/4页4.根据权利要求1所述的基于跨媒介数据的人物图谱关系识别方法，其特征在于，所述步骤S3中，获得视频人物实体集的具体方法为：S321：利用人脸识别方法对每个视频镜头的关键帧进行人脸识别和检测，获得人脸图像集；S322：利用DeepID人脸特征表示方法获得人脸图像集中每张人脸图像的深度特征；S323：基于每张人脸图像的深度特征，利用支持向量机分类器进行人脸分类标注，获得人脸图像对应的视频人物实体集。5.根据权利要求3所述的基于跨媒介数据的人物图谱关系识别方法，其特征在于，所述步骤S4中，获得故事分割集的具体方法为：S41：根据关键帧视觉特征，计算场景分割集中每个场景的场景特征；具体的：式中，FCk表示第k个场景的场景特