一种神经网络模型训练方法、装置及计算机可读存储介质.pdf
是你****岺呀
亲,该文档总共27页,到这已经超出免费预览范围,如果喜欢就直接下载吧~
相关资料
一种神经网络模型训练方法、装置及计算机可读存储介质.pdf
本申请公开了一种神经网络模型训练方法、装置、设备及介质,获取标注样本集;对标注样本集中的正样本进行扩散,得到扩散样本集;获取预测样本集;在预测样本集中,确定各个第一正样本对应的第一子样本集,第一子样本集中包含对应的第一正样本;在扩散样本集中,确定与第一正样本的样本位置相同的第二正样本,确定各个第二正样本对应的第二子样本集,第二子样本集中包含对应的第二正样本;基于正样本位置相同的第一子样本集及第二子样本集各自的正负样本信息,计算神经网络模型的目标损失函数值;基于目标损失函数值对神经网络模型进行训练,得到训练
神经网络训练方法、装置及计算机可读存储介质.pdf
本公开提供了一种神经网络训练方法及装置,其中,方法包括:获取待训练的神经网络的多个中间层输出的多个特征图;通过特征提取网络对多个特征图进行特征提取,分别得到每个中间层的第一特征输出;根据多个第一特征输出与待训练的神经网络输出的第二特征输出,计算得到第一损失;基于第一损失,调整多个中间层的参数。通过自蒸馏的方式,将神经网络模型自身的各中间层、以及各次迭代中提取的结果特征输出,作为自身的监督信号充分利用,能够更快的收敛结果,完成训练,节约了时间和资源。
一种模型训练方法、装置、计算机设备及可读存储介质.pdf
本申请提供了一种模型训练方法、装置、计算机设备及可读存储介质,其中,将目标文本的分词结果的文本特征向量中的每个标签出现的第一概率输入至条件随机场损失函数中,以得到用于描述所述文本特征向量中各向量值之间差异程度的损失值;根据所述损失值,利用梯度回传算法对用于进行特征向量标签筛选的条件随机场模型进行训练;当训练次数满足预设阈值时,将训练后的条件随机场模型作为目标模型进行存储。采用上述方法,通过根据文本特征向量中各向量值之间的差异程度进行模型训练,有利于提高使用模型进行数据预测的准确度。
网络模型训练方法、装置和计算机可读存储介质.pdf
本发明公开了网络模型训练方法、装置和计算机可读存储介质,通过对预训练模型依次进行自监督预训练、领域数据微调和知识蒸馏,即使用海量数据无监督预训练超大规模神经网络模型,利用有限标注样本对预训练模型进行微调,使用知识蒸馏方法将微调后的超大模型压缩为目标模型,即满足目标设备的部署要求。基于此,可以减少对标注数据的依赖,降低人工标注的成本,可以解决人工标注数据成本高的问题,并可以提高模型的通用性和泛化性,使得本发明输出的目标模型在目标任务上的精度超越了原定制化模型。
模型的训练方法、装置、计算设备及计算机可读存储介质.pdf
本说明书一个或多个实施例提供了一种模型的训练方法、装置、计算设备及计算机可读存储介质。在一种实施例中,一种模型的训练方法所训练的模型包括三个子模型,训练样本包括存储于存储空间中的有标签样本集和无标签样本集,在计算设备执行每一轮模型训练的过程中,针对每个子模型,利用有标签样本集和该子模型对应的伪标签样本集对该子模型进行训练,利用该子模型以外的其它两个子模型针对测试样本集的测试结果和针对无标签样本集的预测结果,更新该子模型的伪标签样本集,直到每个伪标签样本集中均不再有新的样本加入时,模型训练结束,得到最终的模