一种基于隐多粒度局部特征的中文分词方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107145484A(43)申请公布日2017.09.08(21)申请号201710269863.2(22)申请日2017.04.24(71)申请人北京邮电大学地址100876北京市海淀区西土城路10号(72)发明人包祖贻李思徐蔚然(51)Int.Cl.G06F17/27(2006.01)G06N3/04(2006.01)权利要求书2页说明书4页附图2页(54)发明名称一种基于隐多粒度局部特征的中文分词方法(57)摘要本发明实施例公开了一种基于隐多粒度局部特征的中文分词方法。属于信息处理领域。该方法的特征包括：先利用多卷积核的卷积神经网络处理待分词文本，得到待分词文本的隐多粒度局部特征；再经过一个k-max池化层，仅保留其中比较重要的局部特征；接着由一个双向的LSTM循环神经网络将句子中的上下文信息联系起来；最后应用标签推断，得到句子级别上的最优分词结果。本发明通过结合隐多粒度局部特征和上下文信息，使得分词效果得到提升，具有很大的实用价值。CN107145484ACN107145484A权利要求书1/2页1.一种基于隐多粒度局部特征的中文分词方法，其特征在于，所述神经网络包含以下结构和步骤：(1)输入句子的字符向量参数化：对输入字符进行映射，将离散的字符转化为数值向量，即嵌入式的字符表示，输入的待分词文本即可数值化为各个字符的数值向量连接而成的矩阵；(2)卷积神经网络提取隐多粒度局部信息：对步骤(1)得到的文本矩阵进行卷积操作，得到文本中各个字符周围的隐多粒度局部特征；(3)池化层的k-max池化操作增强网络的非线性，并控制参数个数：对步骤(2)中得到的隐多粒度局部特征进行k-max池化操作，对每个卷积核得到的结果仅保留k个最显著的局部特征；(4)双向循环神经网络提取长距离的上下文信息：对步骤(3)中得到的局部特征进行处理，双向循环神经网络的两个网络单元从上文和下文分别将上下文的信息结合进局部特征之中，得到新的特征表示；(5)前向神经网络计算各个字符的标签得分：对步骤(4)中得到的包含了局部特征和上下文信息的特征表示进行处理，特征表示经过一个前向网络得到各个字符的各个标签的概率；(6)使用标签推断方法得到最优标签序列：对步骤(5)中得到的各个字符的各个标签的概率进行处理，在整个句子层面对各个字符的标签进行推断，得到整个句子上最优的标签序列，即整个句子上最优的分词结果。2.如权利要求1所述的方法，其特征在于，所述步骤(1)具体包括：(1.1)初始化字典向量矩阵以及字符到向量编号的映射索引；(1.2)对输入文本进行字符切分，通过映射索引将字符映射为向量编号；(1.3)通过各个字符的向量编号取得字典向量矩阵中各个字符的向量表示；(1.4)将各个字符向量连接起来，得到输入文本的数值化矩阵。3.如权利要求1所述方法，其特征在于，所述步骤(2)具体包括：(2.1)初始化各个卷积核的参数矩阵；(2.2)按照卷积核的窗口大小，对输入矩阵进行补齐；(2.3)对补齐后的矩阵，用卷积核进行卷积操作，得到卷积结果；(2.4)对不同窗口大小的卷积核重复步骤(2.2)和步骤(2.3)，得到各个窗口大小卷积核的卷积结果，即隐多粒度局部特征。4.如权利要求1所述方法，其特征在于，所述步骤(3)具体包括：(3.1)对一个卷积核在各个字符得到的局部特征进行k-max池化，仅保留每个字符局部特征中最大的k个值；(3.2)对不同窗口大小的卷积核重复步骤(3.1)；(3.3)对各个字符处得到的不同窗口大小的卷积核的k个局部特征进行连接，得到该层的输出矩阵。5.如权利要求1所述方法，其特征在于，所述步骤(4)具体包括：(4.1)初始化循环神经网络参数；(4.2)一个前向的循环神经网络单元按照文本正向顺序对步骤(3)的输出矩阵进行处2CN107145484A权利要求书2/2页理，得到正向输出矩阵，即各个字符的上文信息。(4.3)一个反向的循环神经网络单元按照文本反向顺序对步骤(3)的输出矩阵进行处理，再在句子顺序上反向，得到反向输出矩阵，即各个字符的下文信息；(4.4)将正向输出矩阵和反向输出矩阵连接起来，得到循环神经网络层的输出矩阵。6.如权利要求1所述方法，其特征在于，所述步骤(5)具体包括：(5.1)初始化前向网络参数；(5.2)将步骤(4)中得到的输出矩阵中每一个字符对应的信息输入前向神经，得到每一个字符对应各个标签的得分；(5.3)对每一个字符对应的各个标签的得分输入softmax函数，得到每一个字符各个标签的概率。7.如权利要求1所述方法，其特征在于，所述步骤(6)具体包括：(6.1)初始化标签转移矩阵；(6.2)对步骤(5)中得到的各字符标签概率矩阵补齐开始位置和结束位置；(6.3