反爬虫处理方法、装置、电子设备及可读存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115065520A(43)申请公布日2022.09.16(21)申请号202210649745.5(22)申请日2022.06.09(71)申请人中国电信股份有限公司地址100033北京市西城区金融大街31号(72)发明人林海陈家烁王蕙蓉谭成马稼明(74)专利代理机构北京润泽恒知识产权代理有限公司11319专利代理师苏培华(51)Int.Cl.H04L9/40(2022.01)G06F16/951(2019.01)权利要求书3页说明书15页附图2页(54)发明名称反爬虫处理方法、装置、电子设备及可读存储介质(57)摘要本发明实施例提供了一种反爬虫处理方法、装置、电子设备及可读存储介质。该方法中，响应于访问请求，从第一历史IP对应的爬虫指数中查找目标IP对应的爬虫指数，作为目标爬虫指数；第一历史IP和第一历史IP对应的爬虫指数根据至少两个第二网站节点的IP访问记录获得，爬虫指数用于表征第一历史IP属于爬虫IP的概率，目标IP为访问请求使用的IP。在目标爬虫指数大于预设指数阈值的情况下，执行预设反爬虫操作。这样，利用多个第二网站节点的访问记录识别爬虫IP，可以实现快速识别爬虫IP，并对其执行反爬虫操作。CN115065520ACN115065520A权利要求书1/3页1.一种反爬虫处理方法，其特征在于，应用于第一网站节点，所述方法包括：响应于访问请求，从第一历史网际协议地址IP对应的爬虫指数中查找目标IP对应的爬虫指数，作为目标爬虫指数；所述第一历史IP和所述第一历史IP对应的爬虫指数根据至少两个第二网站节点的IP访问记录获得，所述爬虫指数用于表征所述第一历史IP属于爬虫IP的概率，所述目标IP为所述访问请求使用的IP；在所述目标爬虫指数大于预设指数阈值的情况下，执行预设反爬虫操作。2.根据权利要求1所述的方法，其特征在于，所述第一历史IP对应的爬虫指数存储在区块链中，所述第一网站节点为所述至少两个第二网站节点中的任一网站节点，任一所述第一网站节点本地均部署有所述区块链。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在满足预设条件的情况下，根据所述第一网站节点在预设时间内的IP访问记录，确定所述预设时间内的第二历史IP的阶段爬虫指数；所述阶段爬虫指数用于表征所述第二历史IP在所述预设时间内属于爬虫的概率；将所述阶段爬虫指数上链至所述第一网站节点中的区块链，以及，根据所述阶段爬虫指数以及所述第二历史IP的历史阶段爬虫指数，为所述第二历史IP生成新的爬虫指数，并将所述新的爬虫指数上链至所述第一网站节点中的区块链；所述历史阶段爬虫指数包括之前上链至所述区块链的阶段爬虫指数。4.根据权利要求3所述的方法，其特征在于，所述确定所述预设时间内的第二历史IP的阶段爬虫指数之后，所述方法还包括：将所述阶段爬虫指数同步至部署有所述区块链的其他第一网站节点，以供所述其他第一网站节点根据所述阶段爬虫指数以及所述第二历史IP的历史阶段爬虫指数，为所述第二历史IP生成新的爬虫指数，并将所述新的爬虫指数及接收到的所述阶段爬虫指数，上链至所述其他第一网站节点中的区块链。5.根据权利要求3所述的方法，其特征在于，所述方法还包括：若接收到其他第一网站节点共享的第三历史IP的阶段爬虫指数，根据所述其他第一网站节点共享的所述阶段爬虫指数及所述第三历史IP的历史阶段爬虫指数，为所述第三历史IP生成新的爬虫指数，并将所述新的爬虫指数及接收到的所述阶段爬虫指数，上链至所述第一网站节点中的区块链。6.根据权利要求3‑5任一所述的方法，其特征在于，所述根据所述阶段爬虫指数以及所述第二历史IP的历史阶段爬虫指数，为所述第二历史IP生成新的爬虫指数，包括：从所述区块链的已上链区块中获取所述第二历史IP的历史阶段爬虫指数，以及，获取所述历史阶段爬虫指数的生成时间，作为第一时间；根据所述历史阶段爬虫指数、所述第一时间、所述阶段爬虫指数及第二时间，为所述第二历史IP生成新的爬虫指数；所述第二时间为所述阶段爬虫指数的生成时间。7.根据权利要求6所述的方法，其特征在于，所述根据所述历史阶段爬虫指数、所述第一时间、所述阶段爬虫指数及第二时间，为所述第二历史IP生成新的爬虫指数，包括：根据所述第一时间以及所述第二时间，分别确定所述历史阶段爬虫指数的第一权重以及所述阶段爬虫指数的第二权重；所述第一权重与所述第一时间距离当前时间的时长负相关，所述第二权重与所述第二时间距离当前时间的时长负相关；2CN115065520A权利要求书2/3页根据所述第一权重、所述第二权重、所述历史阶段爬虫指数以及所述阶段爬虫指数，生成所述新的爬虫指数；所述从第一历史网际协议地址IP对应的爬虫指数中查找目标IP对应的爬虫指数，包括：从所述第一网站