一种分词方法、多模式分词模型和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112199952A(43)申请公布日2021.01.08(21)申请号202011397544.8G06N3/08(2006.01)(22)申请日2020.12.04(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人黄伟鹏成幸毅陈昆龙王太峰褚崴(74)专利代理机构成都七星天知识产权代理有限公司51253代理人袁春晓(51)Int.Cl.G06F40/289(2020.01)G06F40/284(2020.01)G06F40/205(2020.01)G06N3/04(2006.01)权利要求书3页说明书14页附图5页(54)发明名称一种分词方法、多模式分词模型和系统(57)摘要本说明书实施例公开了一种分词方法、多模式分词模型和系统。该方法包括：获取待处理文本；利用多模式分词模型对所述待处理文本进行以下处理，以确定对所述待处理文本的分词结果：通过特征提取层处理所述待处理文本，获得对应于所述待处理文本的特征序列；基于所述待处理文本所属的领域类型，通过对应所述领域类型的至少一个映射层处理所述特征序列，获得至少一个映射特征；通过预测层基于所述至少一个映射特征确定对所述待处理文本的所述分词结果。CN112199952ACN112199952A权利要求书1/3页1.一种分词方法，所述方法包括：获取待处理文本；利用多模式分词模型对所述待处理文本进行以下处理，以确定对所述待处理文本的分词结果：通过特征提取层处理所述待处理文本，获得对应于所述待处理文本的特征序列；基于所述待处理文本所属的领域类型，通过对应所述领域类型的至少一个映射层处理所述特征序列，获得至少一个映射特征；通过预测层基于所述至少一个映射特征确定对所述待处理文本的所述分词结果。2.根据权利要求1所述的方法，所述基于所述待处理文本所属的领域类型，通过对应所述领域类型的至少一个映射层处理所述特征序列，获得至少一个映射特征，包括：确定所述待处理文本所属的领域类型为通用领域还是某一专有领域；当所述待处理文本所属的领域类型为通用领域时，利用共享映射层对所述特征序列进行处理，获得通用映射特征；当所述待处理文本所属的领域类型为某一专有领域时，利用共享映射层对所述特征序列进行处理，获得通用映射特征，以及利用所述某一专有领域对应的专有映射层对所述特征序列进行处理，获得专有映射特征；其中，所述共享映射层通过多个专有领域的语料库训练获得，专有映射层通过其对应的专有领域的语料库训练获得。3.根据权利要求2所述的方法，其中，基于所述待处理文本的领域类型标识确定所述待处理文本所属的领域类型为通用领域还是某一专有领域。4.根据权利要求2所述的方法，其中，所述专有领域基于分词粒度划分或者基于业务领域划分。5.根据权利要求2所述的方法，其中，当所述待处理文本所属的领域类型为某一专有领域时，所述通过预测层基于所述至少一个映射特征确定对所述待处理文本的所述分词结果，包括：将所述待处理文本对应的所述通用映射特征与所述专有映射特征相加，得到融合特征；基于所述融合特征确定所述分词结果。6.根据权利要求1所述的方法，所述特征提取层包括BERT网络。7.根据权利要求1所述的方法，所述多模式分词模型经过以下模型加速方法中的至少一种处理：存储精度降级、编译优化以及模型蒸馏。8.根据权利要求7所述的方法，所述特征提取层包括包含3层Transformer的BERT网络。9.一种分词系统，所述系统包括：获取模块，用于获取待处理文本；处理模块，用于利用多模式分词模型对所述待处理文本进行以下处理，以确定对所述待处理文本的分词结果：通过特征提取层处理所述待处理文本，获得对应于所述待处理文本的特征序列；基于所述待处理文本所属的领域类型，通过对应所述领域类型的至少一个映射层处理2CN112199952A权利要求书2/3页所述特征序列，获得至少一个映射特征；通过预测层基于所述至少一个映射特征确定对所述待处理文本的所述分词结果。10.一种多模式分词模型系统，包括特征提取层、领域适应层和预测层；所述特征提取层用于处理待处理文本，获得对应于所述待处理文本的特征序列；所述领域适应层包括两个以上映射层，所述领域适应层用于基于所述待处理文本所属的领域类型，通过对应所述领域类型的至少一个映射层处理所述特征序列，获得至少一个映射特征；所述预测层用于基于所述至少一个映射特征确定对所述待处理文本的分词结果。11.根据权利要求10所述的模型系统，所述领域适应层包括共享映射层与至少一个专有映射层，其中，所述共享映射层通过多个专有领域的语料库训练获得，所述专有映射层通过其对应的专有领域的语料库训练获得。12.根据权利要求10