基于多模态语义匹配的图像风格迁移系统及方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115829830A(43)申请公布日2023.03.21(21)申请号202211578075.9(22)申请日2022.12.06(71)申请人上海大学地址200436上海市宝山区上大路99号(72)发明人武星胡明涛(74)专利代理机构上海申汇专利代理有限公司31001专利代理师柏子雵全天源(51)Int.Cl.G06T3/00(2006.01)G06F16/58(2019.01)G06F16/538(2019.01)G06F16/51(2019.01)权利要求书2页说明书6页附图2页(54)发明名称基于多模态语义匹配的图像风格迁移系统及方法(57)摘要本发明揭示了一种基于多模态语义匹配的图像风格迁移系统及方法，包括内容图像输入模块、风格信息输入模块、风格图像向量库、文本图像检索模块、图像风格迁移模块和结果输出模块。本发明提供的多模态语义匹配的图像风格迁移系统及方法，实现了支持文本驱动和图像驱动两种模态数据提供风格信息的图像风格迁移，在图像风格迁移模块中利用注意力机制和插值操作逐渐调整风格图像特征分布与内容图像特征分布对齐，使得最终的风格化结果的内容语义区域和风格语义区域是相互匹配的，在保证风格化结果内容结构完整性的同时获得更好的风格化效果。CN115829830ACN115829830A权利要求书1/2页1.一种基于多模态语义匹配的图像风格迁移系统，其特征在于，包括内容图像输入模块、风格信息输入模块、风格图像向量库、文本图像检索模块、图像风格迁移模块和结果输出模块，其中：内容图像输入模块，用于向图像风格迁移模块输入内容图像，为图像风格迁移模块的最终输出结果提供内容信息；风格信息输入模块，用于向图像风格迁移模块输入风格信息，该风格信息为用于描述风格的文本数据或用于描述风格的风格图像，实现支持以文本或者图像两种模态的数据作为输入为图像风格迁移模块的最终输出结果提供风格信息；风格图像向量库：基于风格图像数据集建立风格图像向量库，为风格图像数据集中的每张风格图像创建文本标签后，采用图文对比多模态预训练模型对风格图像数据集中每张带有文本标签的风格图像进行编码后得到风格图像向量，基于所有风格图像向量建立向量库；文本图像检索模块：采用图文对比多模态预训练模型将通过风格信息输入模块输入的文本数据编码为文本向量，然后检索风格图像向量库中与当前文本向量语义匹配度最高的风格图像向量，并向图像风格迁移模块输出对应的风格图像；结果输出模块：将经过图像风格迁移模块处理后得到的风格化图像特征重新还原为图像后输出。2.如权利要求1所述的一种基于多模态语义匹配的图像风格迁移系统，其特征在于，所述风格图像以及所述内容图像的图像大小相同。3.如权利要求1所述的一种基于多模态语义匹配的图像风格迁移系统，其特征在于，所述文本标签包括当前风格图像的创作者名称以及对当前风格图像语义内容的文本描述。4.如权利要求1所述的一种基于多模态语义匹配的图像风格迁移系统，其特征在于，所述结果输出模块将经过所述图像风格迁移模块处理的风格化结果保存至本地指定文件夹下。5.一种基于多模态语义匹配的图像风格迁移方法，其特征在于，包括以下步骤：S100、原始图像处理：将用户通过内容图像输入的内容图像转换为设定大小的图像，若用户通过风格信息输入模块输入的风格信息为风格图像，则将风格图像转换为与内容图像相同大小的图像；获取风格图像数据集，将风格图像数据集中的风格图像转换为设定大小的图像；S200、风格图像标注：为风格图像数据集中的每一个风格图像创建一个文本标签，文本标签的内容至少包括对当前风格图像语义内容的文字描述，最终形成一张表格，表格中每行记录了风格图像数据集中一张风格图像的路径和其对应的文本标签；S300、构建风格图像向量库：基于步骤S200获得的表格，按照索引顺序读取表格中相应路径下的风格图像，采用图文对比多模态预训练模型对每一张风格图像进行编码得到风格图像向量，从而构建获得风格图像向量库；S400、图像风格迁移，根据输入的数据模态选择不同的方式得到最终的风格化结果：如果用户通过风格信息输入模块输入的是用于描述风格的文本数据，则通过文本图像2CN115829830A权利要求书2/2页检索模块将所输入的文本数据编码为文本向量，然后从风格图像向量库中检索出与当前文本向量匹配度最高的风格图像向量，并将其还原成风格图像后和通过内容图像输入的内容图像一起输入图像风格迁移模块得到最终的风格化结果；如果用户通过风格信息输入模块输入的是用于提供风格信息的风格图像，则直接将风格图像与通过内容图像输入的内容图像一起输入到图像风格迁移模块后得到最终的风格化结果；S500、分析结果展示：结果输出模块将经过图像风格迁移模块处理后的风格化图像特征重