网站访问请求的管理方法、装置及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN105426415A(43)申请公布日2016.03.23(21)申请号201510733749.1(22)申请日2015.10.30(71)申请人TCL集团股份有限公司地址516006广东省惠州市仲恺高新技术开发区十九号小区(72)发明人邓宏栋(74)专利代理机构深圳中一专利商标事务所44237代理人张全文(51)Int.Cl.G06F17/30(2006.01)G06F21/41(2013.01)H04L29/06(2006.01)权利要求书5页说明书13页附图4页(54)发明名称网站访问请求的管理方法、装置及系统(57)摘要本发明公开了一种网站访问请求的管理方法及装置，该方法包括：拦截终端设备发起的网站访问请求，若网站访问请求并非通过浏览器发起，则将网站访问请求识别为网络爬虫请求，并拒绝网站访问请求，若网站访问请求通过浏览器发起，则根据预置时长内终端设备发起的所有网站访问请求的相关访问参数分析判断网站访问请求是否疑似网络爬虫请求，若疑似，则生成用于身份验证的二维码并返回给终端设备；若终端设备通过身份验证，则放行网站访问请求，若终端设备未通过身份验证，则将网站访问请求识别为网络爬虫请求，并拒绝网站访问请求。本发明可有效防止网络爬虫通过伪装成浏览器、利用IP地址代理或IP地址轮换等方式爬取网站数据。CN105426415ACN105426415A权利要求书1/5页1.一种网站访问请求的管理方法，应用于网页服务器，其特征在于，所述方法包括：拦截终端设备发起的网站访问请求，判断所述网站访问请求是否通过浏览器发起；若所述网站访问请求并非通过浏览器发起，则将所述网站访问请求识别为网络爬虫请求，并拒绝所述网站访问请求，若所述网站访问请求通过浏览器发起，则获取预置时长内所述终端设备发起的所有网站访问请求的相关访问参数，根据所述相关访问参数分析判断所述网站访问请求是否疑似网络爬虫请求，所述相关访问参数包括：预置时长内所述终端设备每一次发起网站访问请求时使用的互联网协议IP地址、发起时间以及流量消耗；若所述网站访问请求非疑似网络爬虫请求，则放行所述网站访问请求，若所述网站访问请求疑似网络爬虫请求，则生成用于身份验证的二维码并返回给所述终端设备，使得所述终端设备通过扫描所述二维码进行身份验证；若所述终端设备通过身份验证，则放行所述网站访问请求，若所述终端设备未通过身份验证，则将所述网站访问请求识别为网络爬虫请求，并拒绝所述网站访问请求。2.根据权利要求1所述的方法，其特征在于，所述判断所述网站访问请求是否通过浏览器发起包括：判断所述终端设备是否更换了IP地址；若所述终端设备更换了IP地址，则向所述终端设备发起登录请求，使得所述终端设备执行登录操作，并当所述终端设备成功登录时，判断所述网站访问请求是否通过浏览器发起，当所述终端设备登录失败时，将所述网站访问请求识别为网络爬虫请求，并拒绝所述网站访问请求；若所述终端设备未更换IP地址，则判断所述网站访问请求是否通过浏览器发起。3.根据权利要求2所述的方法，其特征在于，所述判断所述网站访问请求是否通过浏览器发起包括：判断所述网站访问请求是否请求加载网站页面中指定类型的文件；若是，则判定所述网站访问请求通过浏览器发起；若否，则判断所述网站访问请求并非通过浏览器发起。4.根据权利要求3所述的方法，其特征在于，所述判断所述网站访问请求是否请求加载网站页面中指定类型的文件包括：从键值数据库获取所述网站访问请求请求访问的网站页面中所述指定类型的文件的访问请求计数的值，所述访问请求计数的值在所述网站访问请求请求下载所述网站页面的源代码时加一，在所述网站访问请求请求加载所述指定类型的文件时减一；若所述访问请求计数的值大于预置的阈值，则判定所述网站访问请求未请求加载网站页面中指定类型的文件；若所述访问请求计数的值小于或等于所述阈值，则判定所述网站访问请求请求加载网站页面中指定类型的文件。5.根据权利要求1至4任意一项所述的方法，其特征在于，所述获取预置时长内所述终端设备发起的所有网站访问请求的相关访问参数，根据所述相关访问参数分析判断所述网站访问请求是否疑似网络爬虫请求包括：判断所述网站访问请求的IP地址是否为白名单中的IP地址；若所述网站访问请求的IP地址为白名单中的IP地址，则放行所述网站访问请求；2CN105426415A权利要求书2/5页若所述网站访问请求的IP地址不为白名单中的IP地址，则获取预置时长内所述终端设备发起的所有网站访问请求的相关访问参数，根据所述相关访问参数分析判断所述网站访问请求是否疑似网络爬虫请求。6.根据权利要求5所述的方法，其特征在于，所述根据所述相关访问参数分析判断所述网站访问请求是否疑似网络爬虫请求包括