用于转换视频的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111797665A(43)申请公布日2020.10.20(21)申请号201910775142.8(22)申请日2019.08.21(71)申请人北京沃东天骏信息技术有限公司地址100076北京市大兴区经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人潘滢炜姚霆梅涛(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204代理人王达佐马晓亚(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书6页说明书19页附图6页(54)发明名称用于转换视频的方法和装置(57)摘要本申请实施例公开了用于转换视频的方法和装置。上述方法的一具体实施方式包括：获取待转换源域视频；根据待转换源域视频以及预先训练的视频生成模型，得到转换后目标域视频，视频生成模型通过以下步骤生成：根据预设的源域视频集合和目标域视频集合，确定初始生成器和初始判别器；根据源域视频和目标域视频中的任意相邻两视频帧、初始生成器和初始判别器，确定初始运动转换器；利用源域视频集合和目标域视频集合，训练初始生成器、初始判别器和初始运动转换器，得到视频生成模型。该实施方式以无监督的方式实现了源域视频至目标域视频的转换，可以保证视频转换的外观相似度和时间连续性。CN111797665ACN111797665A权利要求书1/6页1.一种用于转换视频的方法，包括：获取待转换源域视频；根据所述待转换源域视频以及预先训练的视频生成模型，得到转换后目标域视频，其中，所述视频生成模型用于表征源域视频和目标域视频的对应关系，所述视频生成模型通过以下步骤生成：根据预设的源域视频集合和目标域视频集合，确定第一初始生成器、第一初始判别器、第二初始生成器和第二初始判别器，其中，所述第一初始生成器用于生成源域视频中视频帧对应的目标域视频帧，所述第一初始判别器用于判别所述第一初始生成器生成的目标域视频帧的真假，所述第二初始生成器用于生成目标域视频帧对应的源域视频帧，所述第二初始判别器用于判别所述第二初始生成器生成的源域视频帧的真假；根据所述源域视频集合中源域视频和所述目标域视频集合中目标域视频中的任意相邻两视频帧、所述第一初始生成器、所述第一初始判别器、所述第二初始生成器和所述第二初始判别器，确定第一初始运动转换器和第二初始运动转换器，其中，所述第一运动转换器用于将源域视频中的任意相邻两视频帧间的运动信息转换为目标域的运动信息，所述第二运动转换器用于将目标域视频中任意相邻两视频帧间的运动信息转换为源域的运动信息；利用所述源域视频集合和所述目标域视频集合，训练所述第一初始生成器、所述第一初始判别器、所述第二初始生成器、所述第二初始判别器、所述第一初始运动转换器和所述第二初始运动转换器，得到所述视频生成模型。2.根据权利要求1所述的方法，其中，根据预设的源域视频集合和目标域视频集合，确定第一初始生成器、第一初始判别器、第二初始生成器和第二初始判别器，包括：将所述源域视频集合中的源域视频作为输入，将所述目标域视频集合中的目标域视频作为期望输出，得到所述第一初始生成器；将所述源域视频集合中的源域视频输入所述第一初始生成器，得到所述第一初始生成器输出的第一合成视频，将所述源域视频和所述第一合成视频作为训练样本，训练得到所述第一初始判别器；将所述目标域视频集合中的目标域视频作为输入，将所述源域视频集合中的源域视频作为期望输出，得到所述第二初始生成器；将所述目标域视频集合中的目标域视频输入所述第二初始生成器，得到所述第二初始生成器输出的第二合成视频，将所述目标域视频和所述第二合成视频作为训练样本，训练得到所述第二初始判别器。3.根据权利要求1所述的方法，其中，所述根据所述源域视频集合中源域视频和所述目标域视频集合中目标域视频中的任意相邻两视频帧、所述第一初始生成器、所述第一初始判别器、所述第二初始生成器和所述第二初始判别器，确定第一初始运动转换器和第二初始运动转换器，包括：对于所述源域视频集合中源域视频中的任意相邻两源域视频帧，执行以下第一样本生成步骤：利用所述第一初始生成器生成所述相邻两源域视频帧中的前一源域视频帧对应的第一生成视频帧，以及生成所述相邻两源域视频帧中的后一源域视频帧对应的第二生成视频帧；确定所述前一源域视频帧与所述后一源域视频帧之间的第一光流图像，以及确定所述第一生成视频帧和所述第二生成视频帧之间的第二光流图像；将所述第一光流图像与所2CN111797665A权利要求书2/6页述第二光流图像作为第一训练样本；确定由多个第一训练样本形成的第一训练样本集合，以及将所述第一训练样本集合中第一训练样本的第一光流图像作为输入，将与所输入的第