预训练语言模型的构建方法、装置、电子终端及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115564063A(43)申请公布日2023.01.03(21)申请号202211257305.1(22)申请日2022.10.14(71)申请人上海浦东发展银行股份有限公司地址200000上海市黄浦区中山东一路12号(72)发明人黄健郭林海张琛万化(74)专利代理机构北京品源专利代理有限公司11332专利代理师黄立伟(51)Int.Cl.G06N20/20(2019.01)G06F40/35(2020.01)权利要求书2页说明书15页附图5页(54)发明名称预训练语言模型的构建方法、装置、电子终端及存储介质(57)摘要本发明实施例公开了一种预训练语言模型的构建方法、装置、电子终端及存储介质，该方法包括：获取对话数据；根据各预训练任务的任务要求对对话数据进行处理，得到训练数据以及训练数据在各预训练任务下的标签数据；各预训练任务包括：全词掩码预测任务、角色预测任务、轮次内顺序互换预测任务和轮次间顺序互换预测任务；基于训练数据确定语言模型的输入数据，通过语言模型对输入数据执行各预训练任务，得到各执行结果；根据各执行结果以及训练数据在各预训练任务下的标签数据，对语言模型进行训练，得到预训练语言模型；预训练语言模型用于对对话数据进行编码。可提高预训练模型针对对话数据的处理性能。CN115564063ACN115564063A权利要求书1/2页1.一种预训练语言模型的构建方法，其特征在于，包括：获取对话数据；所述对话数据包括多轮对话内容，且每轮对话内容与参与对话的一个对话角色对应；根据各预训练任务的任务要求对所述对话数据进行处理，得到训练数据以及所述训练数据在所述各预训练任务下的标签数据；所述各预训练任务包括：全词掩码预测任务、角色预测任务、轮次内顺序互换预测任务和轮次间顺序互换预测任务；基于所述训练数据确定语言模型的输入数据，通过所述语言模型对所述输入数据执行所述各预训练任务，得到各执行结果；根据所述各执行结果以及所述训练数据在所述各预训练任务下的标签数据，对所述语言模型进行训练，得到预训练语言模型；所述预训练语言模型用于对对话数据进行编码。2.根据权利要求1所述的方法，其特征在于，所述根据各预训练任务的任务要求对所述对话数据进行处理，包括：根据全词掩码预测任务的任务要求，基于预设词典从所述对话数据中选择待掩码字符，并对所述待掩码字符进行掩码处理；根据角色预测任务的任务要求，对所述对话数据中所述每轮对话内容间进行添加角色分隔符处理；根据轮次内顺序互换预测任务的任务要求，对所述对话数据中至少一轮的对话内容进行轮次内语句互换处理；根据轮次间顺序互换预测任务的任务要求，将所述对话数据中至少两轮的对话内容进行轮次间对话内容互换处理。3.根据权利要求2所述的方法，其特征在于，得到所述训练数据在所述各预训练任务下的标签数据，包括：将所述待掩码字符，作为所述训练数据在所述全词掩码预测任务下的标签数据；将所述每轮对话内容对应的对话角色，作为所述训练数据在所述角色预测任务下的标签数据；根据是否进行所述轮次内语句互换处理，设置所述训练数据中每轮对话内容在所述轮次内顺序互换预测任务下的标签数据；将所述训练数据中每轮对话内容在所述对话数据中的轮次，作为所述训练数据中每轮对话内容在所述轮次间顺序互换预测任务下的标签数据。4.根据权利要求1所述的方法，其特征在于，所述基于所述训练数据确定语言模型的输入数据，包括：对所述训练数据中的各字符进行编码，得到所述各字符的第一编码；将所述训练数据中每轮对话内容的首字符的第一编码，作为所述训练数据的每轮对话内容中所述各字符的第二编码；对所述训练数据中的各字符的位置信息进行编码，得到所述各字符的第三编码；根据所述各字符的第一编码、第二编码和第三编码，确定所述语言模型的输入数据。5.根据权利要求1所述的方法，其特征在于，所述语言模型包括编码器以及与所述全词掩码预测任务、所述角色预测任务、所述轮次内顺序互换预测任务和所述轮次间顺序互换预测任务分别对应的分类器；2CN115564063A权利要求书2/2页相应的，所述通过所述语言模型对所述输入数据执行所述各预训练任务，包括：通过所述编码器，提取所述输入数据中各字符的嵌入向量；根据所述各字符的嵌入向量，确定各所述分类器的输入向量；将各所述输入向量输入对应的分类器，通过各所述分类器执行对应的预测任务。6.根据权利要求5所述的方法，其特征在于，所述根据所述各字符的嵌入向量，确定各所述分类器的输入向量，包括：选取经掩码处理的字符的嵌入向量，作为与所述全词掩码预测任务对应的分类器的输入向量；选取所述输入数据中每轮对话内容的首字符的嵌入向量，作为与所述角色预测任务、所述轮次内顺序互换预测任务和所述轮次间顺序互换预测任务分别对应的分