手写文本图像生成方法、装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114255159A(43)申请公布日2022.03.29(21)申请号202111571764.2(22)申请日2021.12.21(71)申请人科大讯飞股份有限公司地址230088安徽省合肥市高新开发区望江西路666号(72)发明人赵坤杨争艳吴嘉嘉(74)专利代理机构北京路浩知识产权代理有限公司11002代理人乔慧(51)Int.Cl.G06T3/00(2006.01)G06T11/60(2006.01)G06N3/04(2006.01)G06V10/774(2022.01)G06V10/82(2022.01)权利要求书2页说明书11页附图4页(54)发明名称手写文本图像生成方法、装置、电子设备和存储介质(57)摘要本发明提供一种手写文本图像生成方法、装置、电子设备和存储介质，其中方法包括：获取内容图像和参考手写文本图像；基于所述参考手写文本图像所包含的参考书写风格，对所述内容图像进行风格迁移，得到目标手写文本图像，所述目标手写文本图像与所述内容图像的文本内容相同。本发明提供的手写文本图像生成方法、装置、电子设备和存储介质，有效的将参考手写文本图像的参考书写风格信息解耦出来，可以生成不同书写人的手写文本图像；另外，该方法可以生成包括多行文本的手写文本图像，相比于只能生成单个手写字符，然后进行拼接组成词或者句子的方式，有效提高了手写文本图像的生成效率和质量。CN114255159ACN114255159A权利要求书1/2页1.一种手写文本图像生成方法，其特征在于，包括：获取内容图像和参考手写文本图像；基于所述参考手写文本图像所包含的参考书写风格，对所述内容图像进行风格迁移，得到目标手写文本图像，所述目标手写文本图像与所述内容图像的文本内容相同。2.根据权利要求1所述的手写文本图像生成方法，其特征在于，所述基于所述参考手写文本图像所包含的参考书写风格，对所述内容图像进行风格迁移，得到目标手写文本图像，包括：对所述内容图像进行内容特征提取，得到内容特征；对所述参考手写文本图像进行书写风格特征提取，得到书写风格特征，所述书写风格特征用于表征所述参考书写风格；基于所述内容特征和所述书写风格特征，生成所述目标手写文本图像。3.根据权利要求2所述的手写文本图像生成方法，其特征在于，所述基于所述内容特征和所述书写风格特征，生成所述目标手写文本图像，包括：基于所述书写风格特征，对所述内容特征进行特征迁移，得到迁移特征；基于所述迁移特征，生成所述目标手写文本图像。4.根据权利要求3所述的手写文本图像生成方法，其特征在于，所述基于所述书写风格特征，对所述内容特征进行特征迁移，得到迁移特征，包括：基于多层残差网络，对所述内容特征进行特征迁移，得到迁移特征，所述多层残差网络中的各层残差网络的归一化参数基于所述书写风格特征确定。5.根据权利要求1‑4任一项所述的手写文本图像生成方法，其特征在于，所述基于所述参考手写文本图像所包含的参考书写风格，对所述内容图像进行风格迁移，得到目标手写文本图像，包括：基于手写文本图像生成模型，应用所述参考手写文本图像所包含的参考书写风格，对所述内容图像进行风格迁移，得到目标手写文本图像；所述手写文本图像生成模型基于样本内容图像、样本手写文本图像和标签手写文本图像训练得到。6.根据权利要求5所述的手写文本图像生成方法，其特征在于，所述手写文本图像生成模型是基于如下步骤训练得到的：基于初始模型，应用所述样本手写文本图像所包含的样本书写风格，对所述样本内容图像进行风格迁移，得到预测手写文本图像；基于所述预测手写文本图像与所述样本内容图像在文本内容上的差异、所述预测手写文本图像与标签手写文本图像在图像特征上的差异，以及所述预测手写文本图像与样本手写文本图像在书写风格上的差异中的至少一种，对所述初始模型进行训练，得到所述手写文本图像生成模型。7.根据权利要求6所述的手写文本图像生成方法，其特征在于，所述基于所述预测手写文本图像与标签手写文本图像在图像特征上的差异，对所述初始模型进行训练，包括：基于判别模型，对所述预测手写文本图像与标签手写文本图像分别进行判别，得到所述预测手写文本图像与标签手写文本图像的判别结果；基于所述判别结果，对所述初始模型和所述判别模型进行对抗训练。2CN114255159A权利要求书2/2页8.一种手写文本图像生成装置，其特征在于，包括：图像获取单元，用于获取内容图像和参考手写文本图像；风格迁移单元，用于基于所述参考手写文本图像所包含的参考书写风格，对所述内容图像进行风格迁移，得到目标手写文本图像，所述目标手写文本图像与所述内容图像的文本内容相同。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计