资源获取方法、装置、系统、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113709247A(43)申请公布日2021.11.26(21)申请号202111002733.5(22)申请日2021.08.30(71)申请人北京知道创宇信息技术股份有限公司地址100000北京市朝阳区阜通东大街1号院5号楼1单元311501室(72)发明人侯海涛罗立马仙舟(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人张欣欣(51)Int.Cl.H04L29/08(2006.01)权利要求书2页说明书10页附图6页(54)发明名称资源获取方法、装置、系统、电子设备及存储介质(57)摘要本发明提供的资源获取方法、装置、系统、电子设备及存储介质，方法包括：当获得目标资源的请求信息，确定源站服务器是否正常；若确定源站服务器正常，则将请求信息转发到源站服务器，以使源站服务器反馈目标资源；若确定源站服务器不正常，则将请求信息转发给伪源站服务器，以使伪源站服务器反馈目标资源；其中，源站服务器用于维护任意类型的资源；伪源站服务器从源站服务器爬取资源进行存储，目标资源为资源的任一种。该方法不仅实现了减少源站服务器不能服务时对用户造成无法访问的影响的同时，还利用伪源站服务器对源站服务器资源进行存储，降低对代理服务器的要求和维护成本。CN113709247ACN113709247A权利要求书1/2页1.一种资源获取方法，其特征在于，所述方法包括：当获得目标资源的请求信息，确定源站服务器是否正常；若确定所述源站服务器正常，则将所述请求信息转发到所述源站服务器，以使所述源站服务器反馈所述目标资源；若确定所述源站服务器不正常，则将所述请求信息转发给伪源站服务器，以使所述伪源站服务器反馈所述目标资源；其中，所述源站服务器用于维护任意类型的资源；所述伪源站服务器从所述源站服务器爬取所述资源进行存储，所述目标资源为所述资源的任一种。2.根据权利要求1所述的资源获取方法，其特征在于，所述伪源站服务器通过以下方式爬取所述资源：所述伪源站服务器根据预设的爬取时间、爬取层级和爬取频率，从所述源站服务器或者代理服务器爬取所述资源。3.根据权利要求2所述的资源获取方法，其特征在于，所述伪源站服务器还通过以下方式爬取所述资源：所述伪源站服务器获得链接地址的热度排行信息，根据所述热度排行信息，从所述源站服务器爬取所述链接地址对应的资源。4.根据权利要求1所述的资源获取方法，其特征在于，所述方法包括：按照预设时长，向所述源站服务器和所述伪源站服务器发送检测任务信息；当获得所述源站服务器反馈的响应信息，将所述源站服务器和标记为存活；和/或，当获得所述伪源站服务器获得反馈的响应信息，将所述伪源站服务器标记为存活；当未获得所述源站服务器反馈的响应信息，将所述源站服务器标记为异常；和/或，当未获得所述伪源站服务器获得反馈的响应信息，将所述伪源站服务器标记为异常。5.根据权利要求4所述的资源获取方法，其特征在于，确定源站服务器是否正常，包括：读取所述源站服务器的标记信息；当所述标记信息为所述存活，则确定所述源站服务器正常。6.根据权利要求2所述的资源获取方法，其特征在于，所述方法还包括：显示所述代理服务器的服务配置界面；接收用户在所述服务配置界上录入的源站服务器标识信息和伪源站服务器标识信息；为所述源站服务器标识信息和所述伪源站服务器标识信息配置权重系数。7.根据权利要求6所述的资源获取方法，其特征在于，所述方法还包括：当在所述服务配置界面接收到自动切换的选择操作，将所述伪源站服务器的启动方式配置为所述自动切换；当在所述服务配置界面接收到手动切换的选择操作，将所述伪源站服务器的启动方式配置为所述手动切换。8.一种资源获取装置，其特征在于，包括：确定模块，用于当获得目标资源的请求信息，确定源站服务器是否正常；发送模块，用于若确定所述源站服务器正常，则将所述请求信息转发到所述源站服务器，以使所述源站服务器反馈所述目标资源；若确定所述源站服务器不正常，则将所述请求信息转发给伪源站服务器，以使所述伪源站服务器反馈所述目标资源；2CN113709247A权利要求书2/2页其中，所述源站服务器用于维护任意类型的资源；所述伪源站服务器从所述源站服务器爬取所述资源进行存储，所述目标资源为所述资源的任一种。9.一种代理服务器，其特征在于，所述代理服务器，用于：当获得目标资源的请求信息，确定源站服务器是否正常；若确定所述源站服务器正常，则将所述请求信息转发到所述源站服务器，以使所述源站服务器反馈所述目标资源；若确定所述源站服务器不正常，则将所述请求信息转发给伪源站服务器，以使所述伪源站服务器反馈所述目标资源；其中，所述源站服务器用于维护任意类型的资源；所述伪源站服务器从所述源站服务器爬取所述