图片处理方法、装置、设备及计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114282493A(43)申请公布日2022.04.05(21)申请号202110902525.4(22)申请日2021.08.06(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人阮书岚张勇(74)专利代理机构北京三高永信知识产权代理有限责任公司11138代理人张所明(51)Int.Cl.G06F40/106(2020.01)G06F40/279(2020.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书20页附图6页(54)发明名称图片处理方法、装置、设备及计算机可读存储介质(57)摘要本申请公开了一种图片处理方法、装置、设备及计算机可读存储介质，属于计算机技术领域。方法包括：获取待处理的文本内容包括的字对应的字向量和文本内容包括的关键信息对应的关键信息向量；确定文本内容对应的初始图片特征；基于字向量和关键信息向量，对初始图片特征进行调整，得到文本内容对应的目标图片特征；基于目标图片特征，获取文本内容对应的目标图片。该方法考虑的信息较为全面，得到的目标图片能够充分涵盖文本内容中的文字，使得目标图片和文本内容的匹配度较高。CN114282493ACN114282493A权利要求书1/3页1.一种图片处理方法，其特征在于，所述方法包括：获取待处理的文本内容包括的字对应的字向量和所述文本内容包括的关键信息对应的关键信息向量；确定所述文本内容对应的初始图片特征；基于所述字向量和所述关键信息向量，对所述初始图片特征进行调整，得到所述文本内容对应的目标图片特征；基于所述目标图片特征，获取所述文本内容对应的目标图片。2.根据权利要求1所述的方法，其特征在于，所述基于所述字向量和所述关键信息向量，对所述初始图片特征进行调整，得到所述文本内容对应的目标图片特征，包括：对所述初始图片特征按照下述方法进行迭代调整：设置第0个参考图片特征为所述初始图片特征；对于所述文本内容包括的关键信息中的第i个关键信息，基于所述字向量、所述第i个关键信息对应的第i个关键信息向量和第i‑1个参考图片特征，确定所述第i个关键信息对应的第i个参考图片特征，所述i为正整数；基于所述文本内容包括的关键信息中的第n个关键信息对应的第n个参考图片特征，确定所述文本内容对应的目标图片特征，所述n为正整数。3.根据权利要求2所述的方法，其特征在于，所述基于所述字向量、所述第i个关键信息对应的第i个关键信息向量和第i‑1个参考图片特征，确定所述第i个关键信息对应的第i个参考图片特征，包括：基于所述第i个关键信息向量，对所述字向量进行加权结合，获得所述第i个关键信息对应的全局特征；基于所述全局特征和所述第i‑1个参考图片特征，确定所述第i个参考图片特征。4.根据权利要求3所述的方法，其特征在于，所述对所述字向量进行加权结合还基于所述第i‑1个参考图片特征。5.根据权利要求4所述的方法，其特征在于，所述基于所述第i个关键信息向量，对所述字向量进行加权结合，获得所述第i个关键信息对应的全局特征，包括：基于所述字向量和第一权重矩阵，确定所述文本内容包括的字对应的字权重子特征；基于所述第i个关键信息向量和第二权重矩阵，确定所述第i个关键信息对应的关键信息权重子特征；基于所述字权重子特征、所述关键信息权重子特征和所述第i‑1个参考图片特征，确定所述第i个关键信息对应的权重特征；调用归一化指数函数对所述权重特征进行处理，得到所述第i个关键信息对应的权重分数；基于所述权重分数对所述字向量进行加权求和，确定所述全局特征。6.根据权利要求5所述的方法，其特征在于，所述基于所述权重分数对所述字向量进行加权求和，确定所述全局特征，包括：基于所述字向量和所述第一权重矩阵，确定所述文本内容包括的字对应的字特征；根据所述权重分数对所述字特征进行加权求和，确定所述全局特征。7.根据权利要求3所述的方法，其特征在于，所述基于所述全局特征和所述第i‑1个参2CN114282493A权利要求书2/3页考图片特征，确定所述第i个参考图片特征，包括：调用目标神经网络对所述全局特征和所述第i‑1个参考图片特征进行处理，得到所述第i个关键信息对应的中间特征；基于所述第i个关键信息向量和第二权重矩阵，确定所述第i个关键信息对应的局部特征；结合所述中间特征和所述局部特征，确定所述第i个参考图片特征。8.根据权利要求7所述的方法，其特征在于，所述基于所述第i个关键信息向量和第二权重矩阵，确定所述第i个关键信息对应的局部特征，包括：根据所述第二权重矩阵对所述第i个关键信息向量加权处理，并根据尺寸信息对加权结果进行拓展至与所述中间特征的尺寸相符，