手写文本图像生成模型的训练方法、装置和存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114973279A(43)申请公布日2022.08.30(21)申请号202210688816.2(22)申请日2022.06.17(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦二层(72)发明人唐礼承刘家铭尚太章(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201专利代理师罗岚(51)Int.Cl.G06V30/228(2022.01)G06V30/32(2022.01)G06V30/19(2022.01)权利要求书6页说明书16页附图7页(54)发明名称手写文本图像生成模型的训练方法、装置和存储介质(57)摘要本公开提供了一种手写文本图像生成模型的训练方法、装置和存储介质，涉及人工智能技术领域，具体涉及计算机视觉、图像处理、深度学习等技术领域。具体实现方案为：在将样本内容图像以及第二样本手写文本图像输入到训练模型中的初始手写文本图像生成模型得到第一预测手写文本图像，并将样本图像内容以及第一样本手写文本图像输入到训练模型中的初始手写文本图像重构模型中得到第二测手写文本图像，以及根据第一预测手写文本图像、第二预测手写文本图像和第一样本手写文本图像对训练模型进行训练，并将训练好的训练模型中的手写文本图像生成模型作为目标手写文本图像生成模型。由此，提高训练模型的收敛速度，提高手写文本图像生成模型的训练效率。CN114973279ACN114973279A权利要求书1/6页1.一种手写文本图像生成模型的训练方法，包括：获取训练数据，其中，训练数据包括样本内容图像、第一样本手写文本图像和第二样本手写文本图像，其中，所述第一样本手写文本图像和所述第二样本手写文本图像的书写风格相同，所述第一样本手写文本图像和所述样本内容图像的文本内容相同，所述第二样本手写文本图像与所述样本内容图像的文本内容不相同；构建初始的训练模型，其中，所述训练模型包括初始手写文本图像生成模型和初始手写文本图像重构模型；将所述样本内容图像以及所述第二样本手写文本图像输入到所述初始手写文本图像生成模型中，以得到第一预测手写文本图像；将所述样本内容图像和所述第一样本手写文本图像输入到所述初始手写文本图像重构模型中，以得到第二预测手写文本图像；根据所述第一预测手写文本图像、所述第二预测手写文本图像和所述第一样本手写文本图像，对所述训练模型进行训练；将训练好的训练模型中的手写文本图像生成模型作为目标手写文本图像生成模型。2.根据权利要求1所述的方法，其中，所述初始手写文本图像生成模型包括：依次连接的第一编码层、第一注意力层和第一解码层，其中，所述第一编码层包括第一内容编码层和第一风格编码层，所述将所述样本内容图像以及所述第二样本手写文本图像输入到所述初始手写文本图像生成模型中，以得到第一预测手写文本图像，包括：将所述样本内容图像输入到所述第一内容编码层中，以得到所述样本内容图像的第一内容特征向量；将所述第二样本手写文本图像输入到所述第一风格编码层中，以得到所述第二样本手写文本图像的第一风格特征向量；通过所述第一注意力层对所述第一内容特征向量和所述第一风格特征向量进行注意力计算，以得到第一注意力计算结果；通过所述第一解码层对所述第一注意力计算计算结果和所述第一内容特征向量进行解码，得到所述第一预测手写文本图像。3.根据权利要求1所述的方法，其中，所述初始手写文本图像重构模型包括：依次连接的第二编码层、第二注意力层和第二解码层，其中，所述第二编码层包括第二内容编码层和第二风格编码层，所述将所述样本内容图像和所述第一样本手写文本图像输入到所述初始手写文本图像重构模型中，以得到第二预测手写文本图像，包括：将所述样本内容图像输入到所述第二内容编码层中，以得到所述样本内容图像的第二内容特征向量；将所述第一样本手写文本图像输入到所述第二风格编码层中，以得到所述第一样本手写文本图像的第二风格特征向量；通过所述第二注意力层对所述第二内容特征向量和所述第二风格特征向量进行注意力计算，以得到第二注意力计算结果；通过所述第二解码层对所述第二注意力计算计算结果和所述第二内容特征向量进行解码，得到所述第二预测手写文本图。4.根据权利要求2所述的方法，其中，所述通过所述第一注意力层对所述第一内容特征2CN114973279A权利要求书2/6页向量和所述第一风格特征向量进行注意力计算，以得到第一注意力计算结果，包括：对所述第一内容特征向量进行线性变换，以得到用于注意力计算的第一查询矩阵；对所述第一风格特征向量进行线性变换，以得到用于注意力计算的第一键矩阵和第一值矩阵；根据所述第一内容特征向量、所述第一查询矩阵、所述第一键矩阵和所述第一值矩阵进行注意力计算，以得到所述第一注意力计算结果