基于DIV位置的网页正文抽取方法和装置.pdf

(19)中华人民共和国国家知识产权局*CN102479181A*(12)发明专利申请(10)申请公布号CN102479181A(43)申请公布日2012.05.30(21)申请号201010553327.3(22)申请日2010.11.22(71)申请人中国电信股份有限公司地址100032北京市西城区金融大街31号(72)发明人吴晔刘勋华谢亨骏李辉遒郭玲曹琳万东詹国强刘舟李晓佳(74)专利代理机构中国国际贸易促进委员会专利商标事务所11038代理人孙宝海(51)Int.Cl.G06F17/30(2006.01)权利要求书权利要求书2页2页说明书说明书88页页附图附图99页(54)发明名称基于DIV位置的网页正文抽取方法和装置(57)摘要本发明公开了一种基于DIV位置的网页正文抽取方法和装置。其中，该方法包括利用HTML页面在DOM树中的DIV块信息重新构建DIV块；保留重新构建DIV块中的原子DIV块，原子DIV块为除其本身之外不包含任何其他DIV块的DIV块；对每个原子DIV块进行参数分析，根据分析结果选取出包含网页正文的DIV块；对包含网页正文的DIV块进行内容提取，以获取网页正文。本发明能够防止同一DIV块被重复分析，从而提高了分析效率。同时，根据每个原子DIV块的参数来选取包含网页正文的DIV块，以有效去除HTML网页中的噪音信息，在很大程度上提高了从HTML网页中获取正文信息的准确度。CN1024798ACN102479181A权利要求书1/2页1.一种基于DIV位置的网页正文抽取方法，其特征在于，包括：利用HTML页面在DOM树中的DIV块信息重新构建DIV块；保留所述重新构建DIV块中的原子DIV块，所述原子DIV块为除其本身之外不包含任何其他DIV块的DIV块；对每个原子DIV块进行参数分析，根据分析结果选取出包含网页正文的DIV块；对所述包含网页正文的DIV块进行内容提取，以获取网页正文。2.根据权利要求1所述的方法，其特征在于，在对所述包含网页正文的DIV块进行内容提取之前，所述方法还包括：如果原子DIV块与所述包含网页正文的DIV块间隔预定间隙且位于所述包含网页正文的DIV块的正上方或正下方，则确定与所述包含网页正文的DIV块间隔预定间隙且位于所述包含网页正文的DIV块的正上方或正下方的DIV块为包含网页正文的DIV块。3.根据权利要求1所述的方法，其特征在于，所述利用HTML页面在DOM树中的DIV块信息重新构建DIV块的步骤包括：从所述HTML页面代码的起始处开始直至所述HTML页面代码的结束处获取两个DIV块开始标签之间的非DIV代码段；从所述HTML页面代码的起始处开始直至所述HTML页面代码的结束处获取两个DIV块结束标签之间的非DIV代码段；为获取的非DIV代码段补齐DIV块开始标签和DIV块结束标签。4.根据权利要求1所述的方法，其特征在于，保留所述重新构建DIV块中的原子DIV块的步骤包括：在所述重新构建DIV块中计算出每个DIV块相对页面BODY标签的层次值；根据计算出的层次值判断每个DIV块是否为所述原子DIV块；去除所述重新构建DIV块中的非原子DIV块。5.根据权利要求1所述的方法，其特征在于，对每个原子DIV块进行参数分析，根据分析结果选取出包含网页正文的DIV块的步骤包括：从多个原子DIV块中查找出横向宽度大于预定宽度的原子DIV块；从查找出的横向宽度大于预定宽度的原子DIV块中找出面积最大的DIV块作为所述包含网页正文的DIV块。6.根据权利要求1所述的方法，其特征在于，在重新构建DIV块之前，所述方法还包括：过滤所述HTML页面中的Javascript代码和冗余标签。7.一种基于DIV位置的网页正文抽取装置，其特征在于，包括：DIV块重构模块，用于利用HTML页面在DOM树中的DIV块信息重新构建DIV块；原子DIV块保留模块，与所述DIV块重构模块相连，用于保留所述重新构建DIV块中的原子DIV块，所述原子DIV块为除其本身之外不包含任何其他DIV块的DIV块；网页正文DIV块选取模块，与所述原子DIV块保留模块相连，用于对每个原子DIV块进行参数分析，根据分析结果选取出包含网页正文的DIV块；网页正文提取模块，与所述网页正文DIV块选取模块相连，用于对所述包含网页正文的DIV块进行内容提取，以获取网页正文。2CN102479181A权利要求书2/2页8.根据权利要求7所述的装置，其特征在于，所述装置还包括：网页正文DIV块确定模块，分别与所述网页正文DIV块选取模块和所述网页正文提取模块相连，用于如果原子DIV块与所述包含网页正文的DIV块间隔预定间隙且位于所述包含网页正文的DIV块的正上方或正下方，则确定与所述包含网页正文的DIV块间隔预定间隙且位于所述包含网页正文的