文本压缩方法和装置.pdf

(19)中华人民共和国国家知识产权局*CN102567322A*(12)发明专利申请(10)申请公布号CN102567322A(43)申请公布日2012.07.11(21)申请号201010586545.7(22)申请日2010.12.09(71)申请人北京大学地址100871北京市海淀区颐和园路5号申请人北大方正集团有限公司北京北大方正技术研究院有限公司(72)发明人仇睿恒胡薇(74)专利代理机构北京天昊联合知识产权代理有限公司11112代理人陈源罗建民(51)Int.Cl.G06F17/30(2006.01)权利要求书权利要求书3页3页说明书说明书1010页页附图附图66页(54)发明名称文本压缩方法和装置(57)摘要本发明提供一种适用于中文等非拉丁语种文本的压缩方法，包括：从待压缩的文本中筛选满足预定词长和出现频率条件的词；根据筛选词的出现频率对筛选词分配编码；利用分配的编码对所述文本进行压缩。相应地，提供一种文本压缩装置。本发明以词为单位提取待压缩文本中的备选词，并根据备选词的出现频率对备选词进行筛选，以仅保留出现频率相对大的词，从而有效提取中文等非拉丁语种文本数据中的高频扩展词，缩小字典中被编码的词语的总数，并且通过利用这些编码对中文等非拉丁语种文本进行压缩，获得较高的压缩率。CN1025673ACN102567322A权利要求书1/3页1.一种文本压缩方法，包括：步骤S1、从待压缩的文本中筛选满足预定词长和出现频率条件的词；步骤S2、根据筛选词的出现频率对筛选词分配编码；步骤S3、利用分配的编码对所述文本进行压缩。2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括：步骤S11、提取所述待压缩的文本中的不长于最大词长的词作为备选词；步骤S12、根据备选词的出现频率对备选词进行筛选，以仅保留出现频率大于预定频率的筛选词。3.根据权利要求1所述的方法，其特征在于，还包括：建立字典，在字典中写入备选词和/或筛选词以及这些词的出现频率。4.根据权利要求3所述的方法，其特征在于，所述步骤S11包括以下步骤：步骤S100、设定最大词长kmax；步骤S101、将当前位置设为文本的开始处；步骤S102、判断当前位置与文本的末尾位置之间的词长k_end是否小于最大词长kmax，如果k_end＜kmax，则在步骤S103中令当前词长j＝k_end，否则在步骤S104中令当前词长j＝kmax，然后，跳转到步骤S105；步骤S105、判断从当前位置开始的j个字组成的词是否在字典中，如果是，则执行步骤S106-S107，否则执行步骤S108-S112；步骤S106、将从当前位置开始的j个字组成的词和该词的所有前缀词的频率加1，并将当前位置往前进j个字；步骤S107、判断当前位置是否已到达文本末尾，如果是，则结束步骤S11，否则跳转到步骤S102；步骤S108、将从当前位置开始的j个字组成的词加入到字典中，并将该词的初始频率赋为0；步骤S109、判断j是否等于1，如果是，则在步骤S111中将当前位置往前进1个字，并跳转到步骤S112，否则在步骤S110中将j减1，并跳转到步骤S105；步骤S112、判断当前位置是否已到达文本末尾，如果是，则结束步骤S11，否则跳转到步骤S102。5.根据权利要求4所述的方法，其特征在于，所述最大词长k为2或3或4。6.根据权利要求4所述的方法，其特征在于，所述步骤S12包括以下步骤：步骤S201、将当前词长k设为1；步骤S202、将词长为k的下一个词赋给当前词，并判断当前词的出现频率是否小于最小出现频率fmin，如果当前词的出现频率小于fmin，则在步骤S214中删除当前词，并跳转到步骤S211，否则执行步骤S203-S204；步骤S203、判断当前词长k是否等于1，如果当前词长k等于1，则跳转到步骤S211，否则跳转到步骤S204；步骤S204、对当前词进行切分，以寻找当前词的所有存在于字典中的前缀词；根据当前词及其前缀词的出现频率删除当前词及其前缀词中出现频率相对小的词，并跳转到步骤S211；2CN102567322A权利要求书2/3页步骤S211、判断词长为k的词是否判断完毕，如果判断完毕，则执行步骤S212-S213，否则跳转到步骤S202；步骤S212、判断当前词长k是否为最大词长kamx，如果当前词长k为最大词长kmax，则结束步骤S12，否则执行步骤S213；步骤S213、将当前词长k加1，并跳转到步骤S202。7.根据权利要求6所述的方法，其特征在于，所述步骤S204中根据当前词及其前缀词的出现频率删除当前词及其前缀词中出现频率相对小的词的步骤包括：步骤S205、判断以下公式(1)是否成立：其中，fα为当前词的出现频率，f为当前词的所有前缀词的频率之和，ωmin为指定参数，n为当前词的所