模型构建及训练方法和装置、时序动作定位方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112307885A(43)申请公布日2021.02.02(21)申请号202010851281.7(22)申请日2020.08.21(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人姚霆梅涛(74)专利代理机构中国贸促会专利商标事务所有限公司11038代理人王云飞(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书5页说明书19页附图6页(54)发明名称模型构建及训练方法和装置、时序动作定位方法和装置(57)摘要本公开涉及一种模型构建及训练方法和装置、视频时序动作定位方法和装置。该模型训练方法包括：采用第一视频数据和第二视频数据对动作预知网络模型进行训练，使得训练完成的动作预知网络模型用于实现待测视频数据的时序动作定位，其中，第一视频数据为包含时域标注的长视频数据，第二视频数据为动作短片段视频数据，待测视频数据为不包含时域标注的长视频数据，第一视频数据的数量小于第二视频数据的数量。本公开通过一种适用于大规模动作类别的时序动作定位模型，可以成功将时序动作定位模型扩展到更广泛的动作类别集。CN112307885ACN112307885A权利要求书1/5页1.一种动作预知网络模型构建方法，其特征在于，包括：构建第一预知子模型，其中，所述第一预知子模型用于采用第一视频数据进行动作识别训练和时序动作定位训练，其中，第一视频数据为包含时域标注的长视频数据；构建第二预知子模型，其中，所述第二预知子模型用于采用第二视频数据进行动作识别训练和时序动作定位训练，第二视频数据为动作短片段视频数据，第一视频数据的数量小于第二视频数据的数量；其中，所述动作预知网络模型包括第一预知子模型和第二预知子模型；训练完成的动作预知网络模型用于实现待测视频数据的时序动作定位，其中，待测视频数据为不包含时域标注的长视频数据。2.根据权利要求1所述的动作预知网络模型构建方法，其特征在于，所述构建第一预知子模型包括：构建片段抽取子模型，其中，片段抽取子模型，用于从第一视频数据中抽取动作片段作为前景短片段；构建第一动作识别子模型，其中，第一动作识别子模型，用于采用前景短片段进行动作识别训练；构建第二时序动作定位子模型，其中，第二时序动作定位子模型，用于采用第一视频数据进行时序动作定位训练；构建第一权重转移子模型，其中，第一权重转移子模型，用于通过第一权重转移函数，来桥接前景短片段的动作识别以及第一视频数据的时序动作定位。3.根据权利要求1所述的动作预知网络模型构建方法，其特征在于，所述构建第二预知子模型包括：构建特征序列生成子模型，其中，背景生成子模型，用于抽取第二视频数据的片段级别特征，将第二视频数据的片段级别特征通过组合构成第二视频数据的特征序列；构建背景生成器，其中，所述背景生成器利用第一视频数据中的动作前后背景作为指引，对第二视频数据的动作前后背景进行幻化生成，组合生成的背景特征和原始的第二视频数据特征构成一个完整的合成特征序列；构建第二动作识别子模型，其中，第二动作识别子模型，用于采用第二视频数据的特征序列进行动作识别训练；构建第二时序动作定位子模型，其中，第二时序动作定位子模型，用于采用完整的合成特征序列进行时序动作定位训练；构建第二权重转移子模型，其中，第二权重转移子模型，用于桥接第二视频数据的动作识别以及第二视频数据前后内容扩展版本的时序动作定位。4.根据权利要求3所述的动作预知网络模型构建方法，其特征在于，还包括：构建对抗训练模型，用于在每个时域尺度上，使用判别器分辨第一视频数据中的背景对应的锚点特征以及第二视频数据生成的背景对应的锚点特征，使得背景生成器可以利用第一视频数据中的动作前后背景作为指引，对第二视频数据的动作前后背景进行幻化生成。5.根据权利要求1-4中任一项所述的动作预知网络模型构建方法，其特征在于，还包括：2CN112307885A权利要求书2/5页构建权值共享子模型，用于共享第一权重迁移函数和第二权重迁移函数的权值，其中，第一权重迁移函数为第一预知子模型中第一权重转移子模型的第一权重迁移函数，第二权重迁移函数为第二预知子模型中第二权重转移子模型的第一权重迁移函数。6.根据权利要求1-4中任一项所述的动作预知网络模型构建方法，其特征在于，还包括：构建联合优化子模型，其中，联合优化子模型，用于通过不断交替优化第一视频数据和第二视频数据合成的完整特征序列的时序动作定位损失函数、第一视频数据的前景片段和第二视频数据的动作识别损失函数、以及对抗训练优化损失函数，以实现动