Python3网络爬虫开发实战-分析Ajax爬取今日头条街拍美图.docx

【Python3网络爬虫开发实战】6.4-分析Ajax爬取今日头条街拍美图【摘要】本节中，我们以今日头条为例来尝试通过分析Ajax请求来抓取网页数据的方法。这次要抓取的目标是今日头条的街拍美图，抓取完成之后，将每组图片分文件夹下载到本地并保存下来。本节中，我们以今日头条为例来尝试通过分析Ajax请求来抓取网页数据的方法。这次要抓取的目标是今日头条的街拍美图，抓取完成之后，将每组图片分文件夹下载到本地并保存下来。1.准备工作在本节开始之前，请确保已经安装好requests库。如果没有安装，可以参考第1章。2.抓取分析在抓取之前，首先要分析抓取的逻辑。打开今日头条的首页http://www.toutiao.com/，如图6-15所示。图6-15首页内容右上角有一个搜索入口，这里尝试抓取街拍美图，所以输入“街拍”二字搜索一下，结果如图6-16所示。图6-16搜索结果这时打开开发者工具，查看所有的网络请求。首先，打开第一个网络请求，这个请求的URL就是当前的链接http://www.toutiao.com/search/?keyword=街拍，打开Preview选项卡查看ResponseBody。如果页面中的内容是根据第一个请求得到的结果渲染出来的，那么第一个请求的源代码中必然会包含页面结果中的文字。为了验证，我们可以尝试搜索一下搜索结果的标题，比如“路人”二字，如图6-17所示。图6-17搜索结果我们发现，网页源代码中并没有包含这两个字，搜索匹配结果数目为0。因此，可以初步判断这些内容是由Ajax加载，然后用JavaScript渲染出来的。接下来，我们可以切换到XHR过滤选项卡，查看一下有没有Ajax请求。不出所料，此处出现了一个比较常规的Ajax请求，看看它的结果是否包含了页面中的相关数据。点击data字段展开，发现这里有许多条数据。点击第一条展开，可以发现有一个title字段，它的值正好就是页面中第一条数据的标题。再检查一下其他数据，也正好是一一对应的，如图6-18所示。图6-18对比结果这就确定了这些数据确实是由Ajax加载的。我们的目的是要抓取其中的美图，这里一组图就对应前面data字段中的一条数据。每条数据还有一个image_detail字段，它是列表形式，这其中就包含了组图的所有图片列表，如图6-19所示。图6-19图片列表信息因此，我们只需要将列表中的url字段提取出来并下载下来就好了。每一组图都建立一个文件夹，文件夹的名称就为组图的标题。接下来，就可以直接用Python来模拟这个Ajax请求，然后提取出相关美图链接并下载。但是在这之前，我们还需要分析一下URL的规律。切换回Headers选项卡，观察一下它的请求URL和Headers信息，如图6-20所示。图6-20请求信息可以看到，这是一个GET请求，请求URL的参数有offset、format、keyword、autoload、count和cur_tab。我们需要找出这些参数的规律，因为这样才可以方便地用程序构造出来。接下来，可以滑动页面，多加载一些新结果。在加载的同时可以发现，Network中又出现了许多Ajax请求，如图6-21所示。图6-21Ajax请求这里观察一下后续链接的参数，发现变化的参数只有offset，其他参数都没有变化，而且第二次请求的offset值为20，第三次为40，第四次为60，所以可以发现规律，这个offset值就是偏移量，进而可以推断出count参数就是一次性获取的数据条数。因此，我们可以用offset参数来控制数据分页。这样一来，我们就可以通过接口批量获取数据了，然后将数据解析，将图片下载下来即可。3.实战演练我们刚才已经分析了一下Ajax请求的逻辑，下面就用程序来实现美图下载吧。首先，实现方法get_page()来加载单个Ajax请求的结果。其中唯一变化的参数就是offset，所以我们将它当作参数传递，实现如下：importrequestsfromurllib.parseimporturlencodedefget_page(offset):params={'offset':offset,'format':'json','keyword':'街拍','autoload':'true','count':'20','cur_tab':'1',}url='http://www.toutiao.com/search_content/?'+urlencode(params)try:response=requests.get(url)ifresponse.status_code==200:returnresponse.json()exceptrequests.ConnectireplaceString:returnNone这里我们用urlenco