今天咱们用 Jupyter-Notebook 并结合框架(Selenium)模拟浏览器抓取微博图片并将图片保存本地。
Selenium 是一个用电脑模拟人的操作浏览器网页,可以实现自动化测试,模拟浏览器抓取数据等工作。
环境部署
安装 Jupyter notebook
关于 Jupyter notebook 的详细知识点在以往的文章中有做过详细的介绍,详情请参考文章一文吃透 Jupyter notebook
这里只需要在命令行中输入:jupyter notebook 启动跳转到浏览器编辑界面即可。
浏览器页面:
安装 Selenium
安装 Selenium 非常简单,只需要用命令 ‘pip install Selenium’ 即可,安装成功提示信息如下:
下载浏览器驱动
下载驱动地址如下:
需要把浏览器驱动放入系统路径中,或者直接告知 selenuim 的驱动路径。
环境都搭建好后就可以直接开始爬取数据了。
抓取微博数据
首先导入包,模拟浏览器访问微博主页,详细代码如下:
1 |
|
此时浏览器会打开一个新页面,如下图所示:
接下来开始分析页面数据: 微博页面搜索奥运会关键字后出现新的页面,然后复制网址,抓取和奥运会相关的图片保存于本地,搜索界面如下:
输入网址获取网页内容:
1 |
|
输出内容如下:
查看网页详细信息:
1 |
|
获取图片信息:
1 |
|
下载图片在本地:
1 |
|
至此微博页面关于奥运会的相关图片已保存于本地,图片保存详情如下:
汇总代码如下
1 |
|
以上汇总代码给没有安装 Jupyter Notebook 的朋友们使用,希望对大家有帮助。
总结
今天的文章主要讲解用 Jupyter Notebook 工具和 Selenium 框架抓取微博数据,希望对大家有所帮助。
示例代码:(https://github.com/JustDoPython/python-examples/tree/master/chaoxi/craw_weibo)