一种基于层级图卷积网络的群体场景图生成方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113901902A(43)申请公布日2022.01.07(21)申请号202111155721.6(22)申请日2021.09.30(71)申请人北京航空航天大学地址100191北京市海淀区学院路37号(72)发明人王蕴红何睿刘庆杰(74)专利代理机构北京航智知识产权代理事务所(普通合伙)11668代理人陈磊张桢(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书8页附图4页(54)发明名称一种基于层级图卷积网络的群体场景图生成方法(57)摘要本发明公开了一种基于层级图卷积网络的群体场景图生成方法，利用预训练卷积神经网络提取体育视频中所有个体的视觉特征和包围盒，聚类为两个队伍，根据视觉特征构造队伍关系图和群体关系图，将队伍关系图输入队伍图卷积网络提取队伍关系特征，将群体关系图输入群体图卷积网络提取群体关系特征，根据队伍关系特征和群体关系特征生成群体场景图，上述方法能有效捕捉体育视频中群体间关系，生成群体场景图进行体育视频理解。在团体对抗型体育项目中，运动员个体间关系被弱化，队伍间关系得到凸显，因此能简化场景图生成方法的应用场景，将场景图生成方法应用于体育视频捕捉群体间关系，生成群体场景图进行体育视频的理解。CN113901902ACN113901902A权利要求书1/2页1.一种基于层级图卷积网络的群体场景图生成方法，其特征在于，包括如下步骤：S1：利用预训练卷积神经网络，对体育视频中的所有个体进行识别，提取所有个体的视觉特征和包围盒，将所有个体聚类为两个队伍；S2：根据提取的所有个体的视觉特征构造队伍关系图和群体关系图；S3：将所述队伍关系图输入队伍图卷积网络，提取队伍关系特征；S4：将所述群体关系图输入群体图卷积网络，提取群体关系特征；S5：根据所述队伍关系特征和所述群体关系特征，生成群体场景图；S6：返回步骤S1，重复步骤S1～S5，直至损失函数收敛或达到最大迭代次数。2.如权利要求1所述的基于层级图卷积网络的群体场景图生成方法，其特征在于，步骤S2中，根据提取的所有个体的视觉特征构造队伍关系图和群体关系图，具体包括：设表示体育视频中所有个体的视觉特征集合，X为一个N×d的矩阵，N表示个体的数量，d表示个体特征向量的维度；其中，表示第i个个体的中心坐标，表示第i个个体的特征向量；由X构造表示个人行为的个体关系图ARG：ARG＝(X)T·X(1)其中，表示N×N实数矩阵，()T表示矩阵转置，·表示矩阵乘法；构造表示队伍行为的队伍关系图其中，t＝A，B，A和B代表两支队伍，GA包含m个个体，GB包含n个个体，m+n＝N；X通过聚类器被分为两簇子集IA和IB，X对应的索引Index同时被聚类为两簇IndexA和IndexB：Xt＝fcluster(X)(2)Indext＝fcluster(Index)(3)其中，t＝A，B，fcluster表示聚类器函数；根据Indext构造队伍掩模Mt，其中，t＝A，B，若r，s∈Indext，则Mt中第r行第s列元素为1，Mt中其余位置的元素为0；将个体关系图ARG分别与队伍掩模MA和MB按位相乘，得到队伍关系图GA和GB：Gt＝ARG*Mt(4)其中，*表示矩阵按位相乘；将获得的队伍关系图GA和GB按位相加，得到表示队伍间关系的群体关系图G：G＝GA+GB(5)其中，+表示矩阵按位相加。3.如权利要求2所述的基于层级图卷积网络的群体场景图生成方法，其特征在于，步骤S3，将所述队伍关系图输入队伍图卷积网络，提取队伍关系特征，具体包括：基本的图卷积网络为：H(l+1)＝σ(AH(l)W(l))(6)其中，表示经过第l+1层图卷积的图，l为自然数，表示经过第l层图卷积的图，σ()表示激活函数，表示一个无向图的邻接矩阵，表示第l层可学习的权重矩阵；(0)在队伍图卷积网络中，式(6)中的A取值为队伍关系图GA或GB，当l＝0时，初始值H为矩2CN113901902A权利要求书2/2页阵X，激活函数σ()为ReLU函数；设计多张队伍关系图按位相加进行融合来表示队伍关系特征，队伍关系特征Vt的计算公式为：其中，Nt表示队伍关系图Gt的总数，t＝A，B，表示第k张队伍关系图的第0层可学习权重矩阵。4.如权利要求3所述的基于层级图卷积网络的群体场景图生成方法，其特征在于，步骤S4，将所述群体关系图输入群体图卷积网络，提取群体关系特征，具体包括：在群体图卷积网络中，式(6)中的A取值为群体关系图G，初始值H(0)为矩阵X，激活函数σ()为ReLU函数；设计多张群体关系图按位相加进行融合来表示群体关系特征，