一种关键词提取方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN105893410A(43)申请公布日2016.08.24(21)申请号201510799348.6(22)申请日2015.11.18(71)申请人乐视网信息技术（北京）股份有限公司地址100089北京市海淀区学院南路68号楼19号楼六层6184号房间(72)发明人赵九龙(74)专利代理机构北京国昊天诚知识产权代理有限公司11315代理人刘戈(51)Int.Cl.G06F17/30(2006.01)G06F17/27(2006.01)权利要求书2页说明书10页附图3页(54)发明名称一种关键词提取方法和装置(57)摘要本发明实施例提供一种关键词提取方法和装置。利用分词器对文本进行分词得到单词，对所述单词进行过滤得到候选关键词；计算任意两个所述候选关键词之间的相似度；根据所述相似度计算所述候选关键词的权重，根据预设的语料库计算所述候选关键词的逆文档频率；根据所述候选关键词的权重和所述逆文档频率，获取所述候选关键词的关键度，根据所述候选关键词的关键度选取关键词，提高了关键词抽取的准确率。CN105893410ACN105893410A权利要求书1/2页1.一种关键词提取方法，其特征在于，所述方法包括如下步骤：利用分词器对文本进行分词得到单词，对所述单词进行过滤得到候选关键词；计算任意两个所述候选关键词之间的相似度；根据所述相似度计算所述候选关键词的权重，根据预设的语料库计算所述候选关键词的逆文档频率；根据所述候选关键词的权重和所述逆文档频率，获取所述候选关键词的关键度，根据所述候选关键词的关键度选取关键词。2.根据权利要求1所述的方法，其特征在于，所述计算任意两个所述候选关键词之间的相似度包括：利用word2vec将所述候选关键词转化为单词向量的形式，根据所述候选词的所述单词向量在空间上的相似性得到任意两个所述候选关键词之间的相似度。3.根据权利要求1所述的方法，其特征在于，所述计算所述候选关键词的权重包括，用预设的窗口在所述候选关键词上逐个平移选取得到N-K+1个候选关键词窗口，每个所述窗口包含K个相邻的所述候选关键词，其中N为所述候选关键词的总数，K为所述窗口的尺寸；用一条无向的边连接每个所述窗口中的任意两个所述候选关键词得到一定数量的词项图G(V，E)，其中，V为所述候选关键词集合，E为任意两个候选关键词相连接构成的边的集和，根据预设的迭代次数，采用如下公式迭代计算每个所述候选关键词的所述权重：其中，WS(Vi)表示所述词项图中候选关键词Vi的所述权重，In(Vi)表示所述词项图中指向候选关键词Vi的候选关键词集合，Out(Vj)表示所述词项图中候选关键词Vj所指向的候选关键词的集合，wji表示候选关键词Vi和候选关键词Vj的所述相似度，wjk表示候选关键词Vj和候选关键词Vk的所述相似度，d为阻尼系数，WS(Vj)代表上一次迭代时，候选关键词Vj的所述权重。4.根据权利要求1所述的方法，其特征在于，根据预设的语料库计算每个所述单词的逆文档频率括，使用如下公式计算每个所述候选关键词的所述逆文档频率：其中，log()表示取对数运算。5.根据权利要求1所述的方法，所述根据所述候选关键词的权重和所述逆文档频率，获取所述候选关键词的关键度，包括：以所述候选关键词的所述权重和所述候选关键词的所述逆文档频率的乘积作为所述候选关键词的关键度，并根据每个所述候选关键词的关键度排序以及预设的关键词数量进行关键词的选取。2CN105893410A权利要求书2/2页6.一种关键词提取装置，其特征在于，所述方法包括如下模块：候选关键词获取模块，用于利用分词器对文本进行分词得到单词，对所述单词进行过滤得到候选关键词；相似度计算模块，用于计算任意两个所述候选关键词之间的相似度；逆文档频率计算模块，用于根据所述相似度，计算所述候选关键词的权重，根据预设的语料库计算所述候选关键词的逆文档频率；关键词提取模块，用于根据所述候选关键词的权重和所述逆文档频率，获取所述候选关键词的关键度，根据所述候选关键词的关键度选取关键词。7.根据权利要求6所述的装置，其特征在于，所述相似度计算模块进一步用于：利用word2vec将每个所述候选关键词转化为单词向量的形式，并根据每个所述候选词对应的所述单词向量在空间上的相似性得到任意两个所述候选关键词之间的相似度。8.根据权利要求6所述的装置，其特征在于，所述逆文档频率计算模块具体用于：用预设的窗口在所述候选关键词上逐个平移选取得到N-K+1个候选关键词窗口，每个所述窗口包含K个相邻的所述候选关键词；其中N为所述候选关键词的总数，K为所述窗口的尺寸；用一条无向的边连接每个所述窗口中的任意两个所述候选关键词得到一定数量的词项图G(V，E)，其中V为所述候