一种基于深度学习的视频风格变换与自动生成方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109002857A(43)申请公布日2018.12.14(21)申请号201810812471.0(22)申请日2018.07.23(71)申请人厦门大学地址361000福建省厦门市思明区思明南路422号(72)发明人佘莹莹陈阳(74)专利代理机构泉州市文华专利代理有限公司35205代理人陈雪莹(51)Int.Cl.G06K9/62(2006.01)H04N21/466(2011.01)权利要求书2页说明书5页附图2页(54)发明名称一种基于深度学习的视频风格变换与自动生成方法及系统(57)摘要本发明提供一种基于深度学习的视频风格变换与自动生成方法，利用深度学习框架对拍摄主体进行分类以及风格模型训练；获取待处理视频和用户视频需求；识别待处理视频的类别，结合用户风格要求和时长要求，推荐最优分镜数和视频素材；根据用户选取的视频素材和视频素材顺序，渲染器自动结合对应的风格处理参数对视频进行片段渲染和整体渲染生成风格视频；之后，将用户调整修改信息，作为反馈信息优化风格模型，并分析用户喜好，优化深度学习框架，形成反馈学习模型。本发明还提供一种基于深度学习的视频风格变换与自动生成系统，根据用户对视频风格的需求自动推荐风格素材，并自动完成对视频片段的风格渲染和对整体视频的渲染，生成特定风格视频。CN109002857ACN109002857A权利要求书1/2页1.一种基于深度学习的视频风格变换与自动生成方法，其特征在于：包括如下步骤：步骤1、利用深度学习框架对拍摄主体进行类别分类以及风格模型训练，得到用于自动识别类别的产品识别模块以及不同风格模型的对应的风格处理参数，在学习大量不同类型的视频之后，生成对应主题或标签的关联模型，并创建视频片段风格素材资源库，用于按照类别与风格进行视频素材推荐；步骤2、获取用户的待处理视频以及用户视频需求，所述视频需求包括风格要求和时长要求；步骤3、通过产品识别模块自动识别待处理视频的类别，并结合用户的风格要求和时长要求，推荐对应的分镜数以及对应风格的视频素材供用户选择；步骤4、根据用户选取的视频素材以及对视频素材顺序的调整，渲染器自动结合对应的风格处理参数对视频进行片段渲染和整体渲染生成风格视频；步骤5、在生成风格视频后，将收集到的用户调整修改信息，作为反馈信息优化关联模型，并基于用户的最终选择结果，分析用户的喜好，对深度学习框架进行进一步的优化和更新，形成反馈学习模型。2.根据权利要求1所述的一种基于深度学习的视频风格变换与自动生成方法，其特征在于：所述视频素材按宫格形式展示给用户，且用户通过调整宫格顺序实现视频素材在时间线上的顺序调整。3.根据权利要求1所述的一种基于深度学习的视频风格变换与自动生成方法，其特征在于：所述片段渲染包括片段风格渲染和字幕效果。4.根据权利要求1所述的一种基于深度学习的视频风格变换与自动生成方法，其特征在于：所述整体渲染包括整体视频渲染、添加背景音乐和水印效果。5.根据权利要求1所述的一种基于深度学习的视频风格变换与自动生成方法，其特征在于：所述步骤1具体包括：利用深度学习框架对视频短片训练样本进行深度学习，得到用于自动识别类别的产品识别模块以及不同风格模型的对应的风格处理参数，通过对视频拍摄主体进行类别分类，将分类结果与风格资源库进行匹配，生成对应主题或标签的关联模型，基于所述关联模型，将产品的类别、视频时长、用户视频风格需求信息与对应主题标签的风格资源库相关联；根据不同风格视频中素材的选取与搭配，建立视频片段风格素材资源库，并与资源库里的素材进行映射，用于按照类别与风格进行视频素材推荐。6.一种基于深度学习的视频风格变换与自动生成系统，其特征在于：包括：视频风格学习模块，用于利用深度学习框架对拍摄主体进行类别分类以及风格模型训练，得到用于自动识别类别的产品识别模块以及不同风格模型的对应的风格处理参数，在学习大量不同类型的视频之后，生成对应主题或标签的关联模型，并创建视频片段风格素材资源库，用于按照类别与风格进行视频素材推荐；用户需求模块，用于获取用户的待处理视频以及用户视频需求，所述视频需求包括风格要求和时长要求；素材推荐模块，用于通过产品识别模块自动识别待处理视频的类别，并结合用户的风格要求和时长要求，推荐对应的分镜数以及对应风格的视频素材供用户选择；视频生成模块，用于根据用户选取的视频素材以及对视频素材顺序的调整，渲染器自2CN109002857A权利要求书2/2页动结合对应的风格处理参数对视频进行片段渲染和整体渲染生成风格视频；以及反馈模块，用于在生成风格视频后，将收集到的用户调整修改信息，作为反馈信息优化关联模型，并基于用户的最终选择结果，分析用户的喜好，对深度学习框架进行进一步的优化和