视频的识别方法、装置、可读介质和电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113723344A(43)申请公布日2021.11.30(21)申请号202111052167.9(22)申请日2021.09.08(71)申请人北京有竹居网络技术有限公司地址101299北京市平谷区林荫北街13号信息大厦802室(72)发明人佘琪张林王长虎(74)专利代理机构北京英创嘉友知识产权代理事务所(普通合伙)11447代理人魏云鹿(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/08(2006.01)权利要求书2页说明书15页附图6页(54)发明名称视频的识别方法、装置、可读介质和电子设备(57)摘要本公开涉及一种视频的识别方法、装置、可读介质和电子设备，涉及图像处理技术领域，该方法包括：对获取到的待处理视频进行预处理，以得到目标视频，将目标视频输入预先训练的识别模型，以得到识别模型输出的识别结果，识别结果用于表征待处理视频的类别；识别模型包括编码器和投射层，编码器为根据多个预投射层和第一数量个预训练视频，预训练得到的，每个预投射层对应一个时序范围，该预投射层用于提取预训练视频中对应的时序范围内的视频帧的特征，投射层为根据经过预训练的编码器，和第二数量的训练视频训练得到的，第二数量小于第一数量，第一样本视频不具有用于指示类别的类别标签。本公开中能够提高识别模型的识别准确度。CN113723344ACN113723344A权利要求书1/2页1.一种视频的识别方法，其特征在于，所述方法包括：对获取到的待处理视频进行预处理，以得到目标视频；将所述目标视频输入预先训练的识别模型，以得到所述识别模型输出的识别结果，所述识别结果用于表征所述待处理视频的类别；所述识别模型包括编码器和投射层；所述编码器为根据多个预投射层和第一数量个预训练视频，预训练得到的，每个所述预投射层对应一个时序范围，该预投射层用于提取所述预训练视频中对应的时序范围内的视频帧的特征；所述投射层为根据经过预训练的所述编码器，和第二数量的训练视频训练得到的，所述第二数量小于所述第一数量，所述第一样本视频不具有用于指示类别的类别标签。2.根据权利要求1所述的方法，其特征在于，所述将所述目标视频输入预先训练的识别模型，以得到所述识别模型输出的识别结果，包括：通过所述编码器对所述目标视频进行编码，以得到所述目标视频对应的编码向量；通过所述投射层将所述编码向量投射为视频向量，所述视频向量的维度，与待选类别的数量相同，所述待处理视频的类别属于所述待选类别；根据所述视频向量确定所述识别结果。3.根据权利要求1所述的方法，其特征在于，所述编码器是通过如下方式预训练获得的：对第一数量个所述预训练视频进行预处理，以得到每个所述预训练视频对应的目标预训练视频；随机生成两种调整顺序，并针对每个所述目标预训练视频，按照两种所述调整顺序调整该目标预训练视频，以得到该目标预训练视频对应的第一视频和第二视频；将所述第一视频输入所述编码器，并将所述编码器的输出，输入多个所述预投射层，以得到每个所述预投射层提取的，所述第一视频中，该预投射层对应的时序范围内的视频帧的特征；将所述第二视频输入所述编码器，并将所述编码器的输出，输入多个所述预投射层，以得到每个所述预投射层提取的，所述第二视频中，该预投射层对应的时序范围内的视频帧的特征；根据所述第一视频中多个时序范围内的视频帧的特征，和所述第二视频中多个时序范围内的视频帧的特征，预训练所述编码器和多个所述预投射层。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一视频中多个时序范围内的视频帧的特征，和所述第二视频中多个时序范围内的视频帧的特征，预训练所述编码器和多个所述预投射层，包括：针对每个时序范围，根据两种所述调整顺序确定该时序范围的正相似度和负相似度，所述正相似度为所述第一视频中该时序范围内的视频帧的特征，与所述第二视频中目标时序范围内的视频帧的特征的相似度；在两种所述调整顺序中，该时序范围与所述目标时序范围对应；根据该时序范围的所述正相似度和所述负相似度，确定该时序范围对应的损失；该时序范围对应的损失与该时序范围的所述正相似度负相关，与该时序范围的所述负相似度正相关；2CN113723344A权利要求书2/2页根据每个时序范围对应的损失确定综合损失；以降低所述综合损失为目标，利用反向传播算法预训练所述编码器和多个所述预投射层。5.根据权利要求1所述的方法，其特征在于，所述识别模型是通过如下方式训练获得的：对第二数量个所述训练视频进行预处理，以得到每个所述训练视频对应的目标训练视频；将每个所述目标训练视频输入所述识别模型，并根据所述识别模型的输出与该目标训练视频对应的所述训练视频的类别标签，训练所述识别模型。6