语料处理方法、装置、存储介质及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114281930A(43)申请公布日2022.04.05(21)申请号202111055774.0G06N3/08(2006.01)(22)申请日2021.09.09(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人吴云飞(74)专利代理机构广州三环专利商标代理有限公司44202代理人熊永强贾允(51)Int.Cl.G06F16/33(2019.01)G06F40/216(2020.01)G06F40/279(2020.01)G06F40/30(2020.01)G06N3/04(2006.01)权利要求书2页说明书13页附图4页(54)发明名称语料处理方法、装置、存储介质及电子设备(57)摘要本申请实施例公开了语料处理方法、装置、存储介质及电子设备，上述方法包括确定目标语料中每个语料单元的置信度，上述语料单元的置信度表征上述语料单元正确表达关联语料单元的可靠程度，上述关联语料单元为上述目标语料对应的原始语料中，与上述语料单元对应的原始语料单元；基于上述每个语料单元的置信度，对上述每个语料单元进行特征提取，得到上述每个语料单元的特征信息；根据上述每个语料单元的特征信息，得到上述目标语料对应的语料特征信息；对上述语料特征信息进行语料修正处理，得到上述目标语料对应的修正语料。本申请实施例可以显著提升对目标语料的修正能力，提升修正结果的正确度。CN114281930ACN114281930A权利要求书1/2页1.一种语料处理方法，其特征在于，所述方法包括：确定目标语料中每个语料单元的置信度，所述语料单元的置信度表征所述语料单元正确表达关联语料单元的可靠程度，所述关联语料单元为所述目标语料对应的原始语料中，与所述语料单元对应的原始语料单元；基于所述每个语料单元的置信度，对所述每个语料单元进行特征提取，得到所述每个语料单元的特征信息；根据所述每个语料单元的特征信息，得到所述目标语料对应的语料特征信息；对所述语料特征信息进行语料修正处理，得到所述目标语料对应的修正语料。2.根据权利要求1所述的方法，其特征在于，所述基于所述每个语料单元的置信度，对所述每个语料单元进行特征提取，得到所述每个语料单元的特征信息，包括：对所述目标语料进行基于语料单元的特征提取，得到每个语料单元的第一嵌入特征，所述第一嵌入特征表征所述每个语料单元的字形特征信息；对所述目标语料进行基于位置的特征提取，得到所述每个语料单元的第二嵌入特征，所述第二嵌入特征表征所述每个语料单元在所述目标语料中的位置特征信息；针对每个语料单元，根据所述语料单元的置信度、所述语料单元的第一嵌入特征和所述语料单元的第二嵌入特征，得到所述语料单元的特征信息。3.根据权利要求2所述的方法，其特征在于，所述根据所述语料单元的置信度、所述语料单元的第一嵌入特征和所述语料单元的第二嵌入特征，得到所述语料单元的特征信息，包括：在所述语料单元的置信度小于置信度阈值的情况下，获取第一目标值，根据所述第一目标值、所述语料单元的第一嵌入特征和所述语料单元的第二嵌入特征，得到所述语料单元的特征信息，所述第一目标值表征所述语料单元在置信度小于所述置信度阈值情况下，在进行语料修正处理过程中的被关注程度；在所述语料单元的置信度大于等于所述置信度阈值的情况下，获取第二目标值，根据所述第二目标值、所述语料单元的第一嵌入特征和所述语料单元的第二嵌入特征，得到所述语料单元的特征信息，所述第二目标值表征所述语料单元在置信度大于等于所述置信度阈值情况下，在进行语料修正处理过程中的被关注程度。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述每个语料单元的特征信息，得到所述目标语料对应的语料特征信息，包括：获取所述目标语料对应的规范信息，所述规范信息表征所述目标语料应当遵循的语义规范信息；根据所述规范信息对所述目标语料进行分词处理，得到分词标签信息；将所述每个语料单元的特征信息，以及所述分词标签信息进行拼接，得到所述语料特征信息。5.根据权利要求4所述的方法，其特征在于，所述目标语料表征地址信息，所述规范信息为地址归属信息，所述根据所述规范信息对所述目标语料进行分词处理，得到分词标签信息，包括：在所述目标语料中识别与所述地址归属信息相符合的词，所述词包括至少两个语料单元；2CN114281930A权利要求书2/2页在所述目标语料中确定所述词中的第一个语料单元的位置，根据所述位置确定所述词对应的分词标签信息。6.根据权利要求1所述的方法，其特征在于，所述方法基于神经网络实施，所述神经网络包括特征信息提取网络和修正网络，所述神经网络的训练方法如下：获取样本语料以及所述样本语料对应的