图像的文本纠错方法、装置、电子设备及存储介质.pdf

本发明实施例提供了一种图像的文本纠错方法、装置、电子设备及存储介质,应用于多模态文本纠错系统,首先将输入的图像与原始文本分别进行特征提取,获得图像特征以及原始文本特征,接着通过特征拼接方式生成综合编码特征,并通过截取综合编码特征中对应于原始文本特征位置的特征,获得文本编码特征,接着通过文本特征修正模块对文本编码特征进行特征纠正,生成文本纠正特征,并通过纠错向量存取器将文本纠正特征与文本编码特征进行特征融合,获得目标文本特征,最后通过纠错解码器采用目标文本特征对原始文本特征进行特征替换,并输出目标文本信息,从而实现了对原始文本中细粒度错误的识别及纠正,大大降低了在进行多模态任务时的出错率。