一种时序-视觉提案图网络的时序动作检测方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115937972A(43)申请公布日2023.04.07(21)申请号202211489521.9G06N3/0464(2023.01)(22)申请日2022.11.25G06N3/0442(2023.01)G06N3/08(2023.01)(71)申请人北京理工大学地址100081北京市海淀区中关村南大街5号(72)发明人甘明刚张琰陈杰夏明月张少卿马千兆(74)专利代理机构北京理工大学专利中心11120专利代理师张丽娜(51)Int.Cl.G06V40/20(2022.01)G06V20/40(2022.01)G06V10/764(2022.01)G06V10/82(2022.01)权利要求书4页说明书9页附图3页(54)发明名称一种时序-视觉提案图网络的时序动作检测方法(57)摘要本发明涉及一种时序‑视觉提案图网络的时序动作检测方法，属于时序动作检测技术。该方法在提案图上并行使用时序图卷积网络和视觉图卷积网络：首先，为每个提案选择有价值的邻居提案，并将其构建为动作提案图，再采用图卷积网络根据邻居提案对分类的不同贡献从邻居提案中获取动作信息来构造一个视觉图卷积网络，采用提案特征的余弦相似度作为权重；在动作提案图上再构造一个与视觉图卷积网络并行的时序图卷积网络，通过提案之间的时序和视觉相关性聚合信息。在使用图卷积网络时，提出一种新的时序图卷积操作，该操作将邻居提案按照时序位置关系划分为多个子邻居，并以不同的方式提取信息，采用度量函数作为辅助监督，以从邻居提案中获取更多有价值的信息。CN115937972ACN115937972A权利要求书1/4页1.一种时序‑视觉提案图网络的时序动作检测方法，其特征在于该方法的步骤包括：步骤1：构建未经剪裁的视频V中的提案图；步骤2：根据步骤1得到的提案图构建视觉提案图网络；步骤3：根据步骤1得到的提案图构建时序提案图网络；步骤4：根据步骤2构建的视觉提案图网络和步骤3构建的时序提案图网络构建时序‑视觉提案图网络，并使用构建的时序‑视觉提案图网络进行时序动作检测。2.根据权利要求1所述的一种时序‑视觉提案图网络的时序动作检测方法，其特征在于：所述的步骤1中，构建未经剪裁的视频V中的提案图的具体方法为：对未经剪裁的视频V中已生成的提案集合进行分类，得到提案集合Ψp中的每个提案pn的五种类型的邻居提案，再根据得到的五种类型的邻居提案构建提案图；式中，Np为视频V中已生成提案的个数，cp,n，lp,分别为已生成提案pn的中心坐标和长度。3.根据权利要求2所述的一种时序‑视觉提案图网络的时序动作检测方法，其特征在于：对提案集合Ψp进行分类的方法为：根据时序位置关系，每个提案pn有五种邻居提案：1)邻居提案的中心坐标小于该提案在时间轴上的中心坐标，且两者重叠；2)邻居提案的中心坐标小于时间轴上该提案的中心坐标，且两者不重叠；3)邻居提案的中心坐标大于时间轴上该提案的中心坐标，且两者存在重叠；4)邻居提案的中心坐标大于时间轴上该提案的中心坐标，且两者不重叠；5)邻居提案包含该提案。4.根据权利要求3所述的一种时序‑视觉提案图网络的时序动作检测方法，其特征在于：根据得到的五种类型的邻居提案构建提案图的方法为：对于每个提案，分别从五种类型的邻居提案中选择N个邻居提案，共5N个邻居提案，并在它们之间建立与原始提案之间的边来构建提案图。5.根据权利要求3所述的一种时序‑视觉提案图网络的时序动作检测方法，其特征在于：根据得到的五种类型的邻居提案构建提案图的方法为：将五种类型的邻居提案重新划分为三类：5)中邻居提案是一个单独的类别，1)和2)中邻居提案属于中心坐标小于该提案的一类，3)和4)中的邻居提案都属于中心坐标大于该提案的类别，然后分别从每个提案的每个类别中选择N个邻居提案，共3N个邻居提案，并在它们之间建立与原始提案之间的边来构建提案图。6.根据权利要求3所述的一种时序‑视觉提案图网络的时序动作检测方法，其特征在于：根据得到的五种类型的邻居提案构建提案图的方法为：将这五种类型的邻居提案根据它们的中心坐标重新划分为两类：中心坐标小于该提案的邻居提案属于一个类别，其他的邻居提案属于一个类别，然后分别从每个类别中为每个提案选择N个邻居提案，共2N个邻居提案，并在它们之间建立与原始提案之间的边来构建提2CN115937972A权利要求书2/4页案图。7.根据权利要求4、5或6所述的一种时序‑视觉提案图网络的时序动作检测方法，其特征在于：选择N个邻居提案的方法为：采用提案pn的扩展提案的tIoU值来选择每个类别中有价值的N邻居提案，其中，对于提案pn＝(cp,n,lp,n)的扩展提案表述如下：其中，β是扩展系数；tIoU的表述如下：其中，I(pi,pj)