一种基于网页特征识别的噪音网页过滤方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN105912737A(43)申请公布日2016.08.31(21)申请号201610499620.3(22)申请日2016.06.29(71)申请人合肥民众亿兴软件开发有限公司地址230000安徽省合肥市肥西县上派镇包公路聚缘山庄2幢405(72)发明人董雄飞(51)Int.Cl.G06F17/30(2006.01)权利要求书2页说明书4页(54)发明名称一种基于网页特征识别的噪音网页过滤方法(57)摘要本发明公开了一种基于网页特征识别的噪音网页过滤方法，该方法深入分析了噪音网页和主题网页的特征，通过页面特征识别，对各特征设置阈值判断能够有效去除具有明显特征的噪音网页，缩减数据集，而后，利用显著特征生成更丰富的特征向量，利用SVM分类器对网页进行分类，过滤噪音网页，保留有效的主题网页，确保后期深入分析研究工作的质量和效果。CN105912737ACN105912737A权利要求书1/2页1.一种基于网页特征识别的噪音网页过滤方法，其特征在于，包括如下步骤：(1)特征阈值判断：①判断噪音网页中包含的正文文字长度，设定经验阈值，少于阈值的网页为噪音网页；②判断URL层次及URL文本长度，滤除URL层级较浅及URL文本长度较短的网页；③统计网页内容更新频率，同一URL的网页内容的更新频率；④判断网页URL中是否包含噪音特征，如包含，网页为噪音网页；⑤计算网页内包含的导航链接数量，如包含链接数量大于设定的经验阈值，则为噪音页面；⑥计算网页内链接文字与正文文字长度的比例，比值大于设定阈值则判断为噪音页面；(2)抽取网页特征对通过特征阈值判断后的网页抽取基于网页结构和内容中的特征属性，生成特征向量；(3)基于SVM的网页分类通过选择适合的核函数，将输入向量映射到高维空间，并在高维空间中构建最优分类超平面，区分主题网页和噪音网页，过滤噪音网页。2.按照权利要求1所述的一种基于网页特征识别的噪音网页过滤方法，其特征在于：所述步骤(1)中噪音特征包括sendto_form”，“pre_form”和“sitemap”。3.按照权利要求1所述的一种基于网页特征识别的噪音网页过滤方法，其特征在于：所述步骤(3)中基于SVM的网页分类的具体步骤为：①特征向量选择；②训练集准备和数据归一化；③网页分类器的核函数选择及设置。4.按照权利要求3所述的一种基于网页特征识别的噪音网页过滤方法，其特征在于：所述特征向量选择为18个较为突出的特征属性，所述特征属性为2CN105912737A权利要求书2/2页5.按照权利要求3所述的一种基于网页特征识别的噪音网页过滤方法，其特征在于：所述网页分类器的核函数为线性核函数、多项式核函数、径向基核函数和sigmoid核函数。6.按照权利要求1所述的一种基于网页特征识别的噪音网页过滤方法，其特征在于：所述步骤(3)中基于SVM的网页分类后进行准确率的计算，所述准确率公式为准确率＝(噪音页/噪音识别页)*100％。3CN105912737A说明书1/4页一种基于网页特征识别的噪音网页过滤方法技术领域[0001]本发明属于网页方法领域，更具体地说，本发明涉及一种基于网页特征识别的噪音网页过滤方法。背景技术[0002]网络成为快速增长，蕴涵丰富内容的、巨大的信息仓库，逐渐成为研究者进行数据抓取采集、深入知识发现和挖掘的重要来源。但是，并不是所有网页中都包含有用的信息，现有网页类型可以划分为两种：主题网页与噪音网页。主题网页指描述一个或多个实质主题内容的具有较多描述文字的页面；而噪音网页指不包含或包含极少的叙述文字、包含密集链接的页面。真正对于研究具有可用性的是主题网页，而噪音网页在面对以Web页面文本数据为基础的应用研究中造成了很大的干扰。因此，采集Web页面数据后，在进行深入的分析、挖掘之前，需要对网页的类型进行筛选、过滤，去除噪音页面，保留有效的主题网页，才能确保后期深入分析研究工作的质量和效果。发明内容[0003]本发明所要解决的问题是提供一种基于网页特征识别的噪音网页过滤方法。[0004]为了实现上述目的，本发明采取的技术方案为：[0005]一种基于网页特征识别的噪音网页过滤方法，包括如下步骤：[0006](1)特征阈值判断：[0007]①判断噪音网页中包含的正文文字长度，设定经验阈值，少于阈值的网页为噪音网页；[0008]②判断URL层次及URL文本长度，滤除URL层级较浅及URL文本长度较短的网页；[0009]③统计网页内容更新频率，同一URL的网页内容的更新频率；[0010]④判断网页URL中是否包含噪音特征，如包含，网页为噪音网页；[0011]⑤计算网页内包含的导航链接数量，如包含链接数量大于设定的经验阈值，则为噪音页面；[0012]⑥计