预训练语言模型的训练方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113836925A(43)申请公布日2021.12.24(21)申请号202111089927.3(22)申请日2021.09.16(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人卓安黄际洲王晓敏鲁倪佳(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人罗岚(51)Int.Cl.G06F40/295(2020.01)G06F16/387(2019.01)权利要求书3页说明书10页附图6页(54)发明名称预训练语言模型的训练方法、装置、电子设备及存储介质(57)摘要本公开提供了一种预训练语言模型的训练方法、装置、电子设备及存储介质，涉及计算机技术领域，具体涉及自然语言处理和深度学习领域。具体实现方案为：获取预训练样本；所述预训练样本中包括基于地图检索关键词与目标兴趣点poi信息的预训练语料，以及所述预训练语料中的实体及实体类型的标注信息；将所述预训练样本之中至少部分实体进行掩码；根据经过掩码后的预训练样本，对预训练语言模型进行地理实体学习。本方案可以使预训练语言模型学习到地理实体知识，提升模型的适应性。CN113836925ACN113836925A权利要求书1/3页1.一种预训练语言模型的训练方法，包括：获取预训练样本；所述预训练样本中包括基于地图检索关键词与目标兴趣点poi信息的预训练语料，以及所述预训练语料中的实体及实体类型的标注信息；将所述预训练样本之中至少部分实体进行掩码；根据经过掩码后的预训练样本，对预训练语言模型进行地理实体学习。2.根据权利要求1所述的方法，其中，所述根据经过掩码后的预训练样本，对预训练语言模型进行地理实体学习，包括：将所述经过掩码后的预训练样本输入至预训练语言模型，得到实体预测数据；其中，所述实体预测数据是所述预训练语言模型根据所述经过掩码后的预训练样本的上下文，及所述实体类型对被掩码实体的预测结果；根据所述实体预测数据与所述被掩码实体，对所述预训练语言模型进行地理实体学习。3.根据权利要求1所述的方法，其中，所述获取预训练样本，包括：根据地图检索日志和poi数据库，获取多个地图检索关键词和每个所述地图检索关键词的目标poi信息；针对每个所述地图检索关键词，将所述地图检索关键词与所述地图检索关键词的目标poi信息进行拼接，得到预训练语料；对所述预训练语料中的实体及实体类型进行识别，得到所述预训练语料中的实体与实体类型的标注信息，并将所述预训练语料和所述标注信息作为预训练样本。4.根据权利要求3所述的方法，其中，所述将所述预训练语料和所述标注信息作为预训练样本，包括：根据所述标注信息对所述预训练语料进行序列化处理，并将序列化处理结果作为预训练样本。5.根据权利要求1所述的方法，还包括：将所述预训练样本中的第一类实体进行字替换处理，得到处理后的预训练样本；其中，所述字替换处理包括形近字的替换，和/或，拼音相似的字的替换；根据所述处理后的预训练样本，对经过所述地理实体学习的预训练语言模型进行地理纠错学习。6.根据权利要求5所述的方法，还包括：根据地图检索日志，获取相关性训练样本；根据所述相关性训练样本，对经过所述地理纠错学习的预训练语言模型进行相关性学习。7.根据权利要求1至4中任一项所述的方法，还包括：根据地图检索日志，获取相关性训练样本；根据所述相关性训练样本，对经过所述地理实体学习的预训练语言模型进行相关性学习。8.一种预训练语言模型的训练装置，包括：第一获取模块，用于获取预训练样本；所述预训练样本中包括基于地图检索关键词与目标兴趣点poi信息的预训练语料，以及所述预训练语料中的实体及实体类型的标注信息；2CN113836925A权利要求书2/3页掩码模块，用于将所述预训练样本之中至少部分实体进行掩码；第一训练模块，用于根据经过掩码后的预训练样本，对预训练语言模型进行地理实体学习。9.根据权利要求8所述的装置，其中，所述第一训练模块具体用于：将所述经过掩码后的预训练样本输入至预训练语言模型，得到实体预测数据；其中，所述实体预测数据是所述预训练语言模型根据所述经过掩码后的预训练样本的上下文，及所述实体类型对被掩码实体的预测结果；根据所述实体预测数据与所述被掩码实体，对所述预训练语言模型进行地理实体学习。10.根据权利要求8所述的装置，其中，所述第一获取模块包括：获取单元，用于根据地图检索日志和poi数据库，获取多个地图检索关键词和每个所述地图检索关键词的目标poi信息；拼接单元，用于针对每个所述地图检索关键词，将所述地图检索关键词与所述地图检索关键词的目标poi信息进行拼接，得到预训练语料；识别单元，用于对所述预训练语料中的实体及实体类型