基于知识蒸馏的语言模型训练方法、文本分类方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111506702A(43)申请公布日2020.08.07(21)申请号202010217951.XG06N3/08(2006.01)(22)申请日2020.03.25(71)申请人北京万里红科技股份有限公司地址100081北京市海淀区大柳树路富海国际港15层1504(72)发明人张小亮王秀贞戚纪纲杨占金其他发明人请求不公开姓名(74)专利代理机构北京钲霖知识产权代理有限公司11722代理人李志新刘亚平(51)Int.Cl.G06F16/33(2019.01)G06F16/35(2019.01)G06F40/30(2020.01)G06N3/04(2006.01)权利要求书4页说明书11页附图5页(54)发明名称基于知识蒸馏的语言模型训练方法、文本分类方法及装置(57)摘要本公开是关于一种基于知识蒸馏的语言模型训练方法、文本分类方法、基于知识蒸馏的语言模型训练装置、文本分类装置、电子设备及非临时性计算机可读存储介质。基于知识蒸馏的语言模型训练方法，包括：第一词向量层参数确定步骤和语言模型训练步骤。文本分类方法包括：获取待分类文本；基于待分类文本，通过提取得到待分类文本的关键词编码列表；根据关键词编码列表，通过语言模型，得到待分类文本对应的各关键词的词向量；进而通过文本分类层，得到待分类文本的分类结果。采用知识蒸馏的方法，保留模型准确性的同时，减少了对标注样本的依赖，且通过简化模型结构，有助于加快推理速度，从而提升文本分类方法在智能辅助定密系统中的适用性和可靠性。CN111506702ACN111506702A权利要求书1/4页1.一种基于知识蒸馏的语言模型训练方法，其特征在于，所述方法包括：第一词向量层参数确定步骤和语言模型训练步骤；其中，所述第一词向量层参数确定步骤包括：获取训练词集，所述训练词集包括多个训练词编码列表及各所述训练词编码列表对应的训练词向量；基于各所述训练词编码列表及对应的各所述训练词向量，训练教师模型，所述教师模型包括词向量层、位置向量层及多层Transformer；及判断所述教师模型是否达到第一训练标准，若达到第一训练标准，则确定所述第一词向量层的所述第一词向量层参数；若未达到所述第一训练标准，则重新训练所述第一词向量层参数；所述训练语言模型步骤，所述语言模型至少包括第二词向量层，包括：根据所述第一词向量参数，确定所述第二词向量层的所述第二词向量层参数；基于各所述训练词编码列表，通过所述语言模型，得到对应的各训练词的各第二词向量；及基于各所述训练词向量和对应的各所述第二词向量，训练所述语言模型。2.根据权利要求1所述的方法，其特征在于，所述语言模型还包括深度双向循环神经网络层；所述基于各所述训练词向量和对应的各所述第二词向量，训练所述语言模型，包括：基于各所述训练词向量和对应的各所述第二词向量，调节所述深度双向循环神经网络层参数。3.根据权利要求1或2所述的方法，其特征在于，所述训练词编码列表包括：多个训练词及各所述训练词对应的训练词编码；所述基于各所述训练词编码列表及对应的各所述训练词向量，训练教师模型，所述教师模型包括第一词向量层、位置向量层及多层Transformer，包括：基于所述训练词编码列表的各所述训练词，通过所述第一词向量层，得到各所述训练词的词向量矩阵；基于所述训练词编码列表中的各所述训练词编码，通过所述位置向量层，得到各所述训练词在其他所述训练编码列表中的位置向量矩阵；根据所述词向量矩阵和所述位置向量矩阵，通过所述多层Transformer，得到所述训练词编码列表的第一词向量；基于各所述训练词向量及对应的所述第一词向量，训练所述教师模型。4.一种文本分类方法，其特征在于，所述方法包括：获取待分类文本；基于所述待分类文本，通过提取得到所述待分类文本的关键词编码列表，所述待分类文本的关键词编码列表包括所述待分类文本对应的多个关键词；根据所述关键词编码列表，通过语言模型，得到所述待分类文本对应的各关键词的语义向量，其中，所述语言模型通过所述权利要求1-3中任意一种所述的基于知识蒸馏的语言模型训练方法训练后得到；根据各关键词的语义向量，通过文本分类层，得到所述待分类文本的分类结果。2CN111506702A权利要求书2/4页5.根据权利要求4所述的方法，其特征在于，所述基于所述待分类文本，通过提取得到所述待分类文本的关键词编码列表，包括：将所述待分类文本进行预处理，得到所述待分类文本的词语列表，所述词语列表包括所述待分类文本的多个词语；基于所述词语列表，得到所述待分类文本的词语编码列表；根据所述词语编码列表，通过TF-IDF提取所述待分类文本的关键词，得到所述待分类文本的所述关键词编码列表。6.根据权利要求5所述的方法