分类标签数据获取方法以及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106909694A(43)申请公布日2017.06.30(21)申请号201710147921.4(22)申请日2017.03.13(71)申请人杭州普玄科技有限公司地址310000浙江省杭州市滨江区长河街道滨盛路1766号1006室(72)发明人郑巨隆宋亮胡晓峰(74)专利代理机构北京超凡志成知识产权代理事务所(普通合伙)11371代理人谭承世(51)Int.Cl.G06F17/30(2006.01)权利要求书3页说明书8页附图5页(54)发明名称分类标签数据获取方法以及装置(57)摘要本发明提供了一种分类标签数据获取方法以及装置，涉及移动互联网领域，所述方法包括：电子设备在基于网络返回的页面数据渲染得到的界面中执行预设的操作步骤，将执行所述预设的操作步骤后在所述界面中显示的数据以图片进行保存；识别所述图片，得到所述图片中的文本信息；基于获取的关键词信息，得到所述文本信息中与所述关键词信息相关的抽取信息；接收用户输入的纠错信息，基于所述纠错信息对所述抽取信息进行纠错，得到纠错后的抽取信息作为目标文档；基于预先建立的主题分类模型，计算得到所述目标文档的分类标签。该方法避免了运用传统爬虫程序进行分类标签数据获取时，需要花费很长时间来破解一个反爬虫方案，而且可能无法破解的问题。CN106909694ACN106909694A权利要求书1/3页1.一种分类标签数据获取方法，其特征在于，所述方法包括：电子设备在基于网络返回的页面数据渲染得到的界面中执行预设的操作步骤，将执行所述预设的操作步骤后在所述界面中显示的数据以图片进行保存；识别所述图片，得到所述图片中的文本信息；基于获取的关键词信息，得到所述文本信息中与所述关键词信息相关的抽取信息；接收用户输入的纠错信息，基于所述纠错信息对所述抽取信息进行纠错，得到纠错后的抽取信息作为目标文档；基于预先建立的主题分类模型，计算得到所述目标文档的分类标签。2.根据权利要求1所述的方法，其特征在于，所述基于预先建立的主题分类模型，计算得到所述目标文档的分类标签，包括：根据预设规则将所述目标文档划分为多个子文档；基于分词算法将每个所述子文档进行分词处理，得到多个分词；计算每个所述分词的权值，删除所述分词中，所述权值小于预设阈值的分词，得到剩下的N个分词，用数字0到N-1对所述N个分词进行一一标注；获取预设主题标注的数量M，基于无监督学习算法，获取每个所述子文档的主题标注，其中，每个所述子文档的主题标注的数量的范围为0到M-1个；分别在每个所述子文档所包括的主题标注下遍历该子文档所包括的每个所述分词，获取该分词在该主题标注下出现的次数，将次数最大的主题标注作为该分词的分词标签；遍历每个所述子文档，根据所述分词标签，将在该子文档中，出现次数最多的分词标签作为该子文档的文档标签；基于每个所述子文档的文档标签，得到所述目标文档的分类标签。3.根据权利要求2所述的方法，其特征在于，计算每个所述分词的权值，删除所述分词中，所述权值小于预设阈值的分词，包括：基于TF-IDF技术将每个所述分词进行加权处理，得到每个所述分词的权值；将每个所述分词的权值与预设阈值进行比对，删除权值小于所述预设阈值的分词。4.根据权利要求2所述的方法，其特征在于，所述基于每个所述子文档的文档标签，得到所述目标文档的分类标签包括：获取最大迭代次数、重复初始化次数以及平均相似度阈值；分别计算在每个所述主题标注下，所述目标文档包括的全部分词中，每两个所述分词之间的平均相似度；若所述平均相似度不小于所述平均相似度阈值或者迭代次数不小于所述最大迭代次数，判断初始化次数是否不小于所述重复初始化次数；若所述初始化次数不小于所述重复初始化次数，将每次初始化后得到的所述平均相似度进行比较，选择最大的所述平均相似度所对应的所述主题标注作为所述目标文档的分类标签。5.根据权利要求4所述的方法，其特征在于，所述分别计算以每个所述主题标注下，所述目标文档包括的全部分词中，每两个所述分词之间的平均相似度，包括：分别在每个所述主题标注下，遍历所有分词，获取每个所述分词出现的频率，得到关于每个所述子文档的文档标签的N维向量，其中，每一维表征一个所述分词的频率；2CN106909694A权利要求书2/3页基于夹角余弦值计算每两个所述分词之间的距离，将所有两两所述分词之间的距离的平均值作为所述平均相似度。6.根据权利要求4所述的方法，其特征在于，若所述初始化次数小于所述重复初始化次数，所述方法还包括：当所述子文档的数量为N个时，随机获取1/2N个所述子文档；将所述预设主题标注的数量M自加后对P取余，得到的值作为更新后的预设主题标注的数量M1，P为大于M的最小素数；重新遍历1/2N个所述子文档，