春节到了,老板都回去过新年了,咱们打工人也忙了一年了,这几天就抓点妹子图,摸摸鱼吧。
导入模块
首先把用到的模块贴进来。
1 |
|
抓取
煎蛋网的抓取流程:从第 101 页开始抓取,提取页面上的女装图片 url,请求 url 后保存图片,点击下一页,重复循环…。
当访问煎蛋网的 http://jandan.net/girl
页面的时候,它是显示的最后一页。通过上面的分页控件获取下一页的 url。
1 |
|
可以看到每个图片上都有[查看原图]
的超链接,提取这个 href 就是可以下载图片了。
1 |
|
保存图片就更简单了,request 请求后直接写入文件。
1 |
|
最后来看一下抓取结果吧。
总结
这篇 request 爬虫适合刚入 python 和没学过 soup 模块的小伙伴。春节来了,就不卷了,弄一个女装爬虫摸摸鱼、养养眼。