预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共29页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113761868A(43)申请公布日2021.12.07(21)申请号202110425703.9(22)申请日2021.04.20(71)申请人腾讯科技(深圳)有限公司地址518000广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人杨威霍腾飞刘志强张金超(74)专利代理机构北京市立方律师事务所11330代理人张筱宁张海秀(51)Int.Cl.G06F40/194(2020.01)G06F40/30(2020.01)G06F16/35(2019.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书4页说明书20页附图4页(54)发明名称文本处理方法、装置、电子设备及可读存储介质(57)摘要本申请实施例提供了一种文本处理方法、装置、电子设备及可读存储介质,涉及人工智能领域,该方法包括:获取多个初始文本,基于多个初始文本,构建训练数据集;基于训练数据集对初始神经网络模型进行训练,直至模型的目标函数的值满足训练结束条件;将训练结束后的特征提取模块作为文本相似度判断模型的文本特征提取模块,对文本相似度判断模型再次进行训练,得到最终的文本相似度判断模型,文本相似度判断模型包括级联的文本特征提取模块和第二文本相似度预测模块。在本申请实施例中所构建的训练数据集为弱监督文本相似语料,可以无需人工标注标签数据,可以有效节约人力和时间成本。CN113761868ACN113761868A权利要求书1/4页1.一种文本处理方法,其特征在于,包括:获取多个初始文本,基于所述多个初始文本,构建训练数据集,其中,所述训练数据集中的每个训练样本包括一个所述初始文本对应的第一个第一句子对和一个第二句子对,所述第一句子对的相似度大于所述第二句子对的相似度;基于所述训练数据集对初始神经网络模型进行训练,直至所述初始神经网络模型的目标函数的值满足训练结束条件;其中,所述初始神经网络模型包括级联的初始特征提取模块和第一文本相似度预测模块,所述初始神经网络模型的输入包括所述训练数据集中各句子对,输出为每个句子对的预测文本相似度,所述目标函数的值表征了各所述训练样本的第一句子对的预测文本相似度和第二句子对的预测文本相似度之间的差异;将训练结束后的特征提取模块作为文本相似度判断模型的文本特征提取模块,对所述文本相似度判断模型再次进行训练,得到最终的文本相似度判断模型,所述文本相似度判断模型包括级联的文本特征提取模块和第二文本相似度预测模块。2.根据权利要求1所述的方法,其特征在于,还包括:获取各所述初始文本的标题;所述基于所述多个初始文本,构建训练数据集,包括:对于每个所述初始文本,确定所述初始文本中与所述初始文本的标题相似度最高的第一句子,并确定所述初始文本的至少一个第二句子,所述至少一个第二句子是与所述标题的相似度小于所述第一句子与所述标题的相似度的句子;对于每个所述初始文本,将所述初始文本的标题和第一句子作为所述初始文本对应的第一句子对,将所述初始文本的标题和每个所述第二句子,分别作为所述初始文本对应的一个第二句子对。3.根据权利要求2所述的方法,其特征在于,对于任一所述初始文本,所述确定所述初始文本的至少一个第二句子,包括以下至少一项:将所述初始文本中除所述第一句子之外的至少一个句子,确定为所述至少一个第二句子;删除所述初始文本中第一句子中的至少一个第一目标词,得到第二句子,其中,所述至少一个第一目标词包括所述第一句子中与所述初始文本相似度最高的词;对于所述初始文本中除所述第一句子之外的至少一个句子,删除该句子中的至少一个第二目标词,得到至少一个第二句子,所述第二目标词包括该句子中与所述初始文本相似度最高的词。4.根据权利要求1所述的方法,其特征在于,所述目标函数的值是通过以下方式确定的:将所述训练数据集中的各句子对分别输入至所述神经网络模型中,通过所述特征提取模块提取得到每个所述句子对的文本特征,对于任一句子对,所述文本特征包括所述句子对的语义特征、以及所述句子对中的每个句子的句子特征;对于每个句子对,将所述句子对的语义特征输入至所述第一相似度预测模块,得到所述句子对所对应的第一相似度,将所述句子对中两个句子的句子特征输入至所述第二相似度预测模块,得到所述句子对所对应的第二相似度;对于每个所述训练样本,根据该训练样本中的第一句子对的第一相似度和第二句子对2CN113761868A权利要求书2/4页的第一相似度,确定该训练样本对应的第一差异值,根据该训练样本的第一句子对的第二相似度和第二句子对的第二相似度,确定该训练样本对应的第二差异值;根据各所述训练样本的第一差异值和第二差异值,确定所述目标函数的值。5.根据权利要求4所述的方法,其特征在