Scrapy 框架实现爬虫的基本原理
Scrapy 就是封装好的框架,你可以专心编写爬虫的核心逻辑,无需自己编写与爬虫逻辑无关的代码,套用这个框架就可以实现以上功能——爬取到想要的数据。
Scrapy是一个Python实现的轻量级爬虫框架,它借助Twisted实现异步抓取。
Scrapy 是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。
本文档将通过介绍Scrapy背后的概念使您对其工作原理有所了解,如果暂时理解不深也没关系,后边会结合实例具体介绍。
Python 爬虫基本流程
A 发起请求———B 解析内容———C 获取响应内容———D 保存数据
A 通过 HTTP 向目标站点发起请求,即发送一个 Request ,请求可以包含额外的 headers 等信息,等待服务器响应。
B 得到的内容可能是 HTML ,可以用正则表达式、网页解析库进行解析。可能是 Json ,可以直接转为 Json 对象解析,可能是二进制数据,可以做保存或者进一步的处理。
C 如果服务器能正常响应,会得到一个 Response , Response 的内容便是所要获取的页面内容,类型可能有 HTML , Json 字符串,二进制数据(如图片视频)等类型。
D 保存形式多样,可以存为文本,也可以保存至数据库,或者保存特定格式的文件。
搭建自己本机环境如下:Windows7 64bit———Python3.7———Pycharm64
安装 Python———安装 Pycharm———安装 Scrapy———新建爬虫项目
简单解释:将 Python 比作 Java ,那么 Pycharm 就相当于 eclipse , Pycharm 就是 Python 语言的运行环境 IDE 工具。
安装 Python
在 Python 的官网 www.python.org 中找到最新版本的 Python 安装包,点击进行下载,请注意,当你的电脑是32位的机器,请选择32位的安装包,如果是64位的,请选择64位的安装包;
我自己机器是 win7 64bit 所以我下载的是 python-3.7.4.amd64.exe,其中的 add python 3.7 to PATH 一定要勾选。
另外安装 python 路径不要有中文和空格,避免以后麻烦。后边就点击下一步即可。
如果忘记勾选则需要手动添加环境变量:(需要添加两个: c:\python3.7.0;c:\python3.7.0\Scripts)
右键计算机——点击属性——点击高级系统设置——高级——环境变量——用户变量——PATH 添加自己安装 python 的路径。
安装 Pycharm
本篇对于环境的搭建只是起到抛砖引玉的作用,建议大家以下边做参考。
https://www.runoob.com/w3cnote/pycharm-windows-install.html
安装 Scrapy
由于安装 Scrapy 不是本系列重点,所以仅展示 Windows 系统上安装 Scrapy 的步骤。注意:一定按顺序安装。 Cmd 进入 dos 窗口:
1 |
|
如果中途安装遇到问题请及时 Google 查阅资料,查阅就是积累的过程。
Scrapy 创建新项目:
Pycharm 中用 alt+F12 切换到命令行,在命令行输入:
1 |
|
就会生成 Scrapy 项目,项目名称是 peilv ,结构如下:主要改写2个文件:“items、settings”,新增2个文件:“爬虫主程序”、itemcsvexporter。
1 |
|
items.py:
1 |
|
以上是定义您想抓取的数据,在Scrapy中, 这是通过 Scrapy Items 来完成的。通过scrapy.Field()方法创建需要存储的字段,比如cc存储比赛的场次信息,li存储立博的赔率信息,等等。
关于这个items.py,你只要考虑它就是一个存储数据的容器,可以考虑成一个结构体,你所有需要提取的信息都在这里面存着。
这里我们需要存储3个变量,cc,li,b5,所以我在里面加入三个变量,就这么简单。
pipelines.py:
一般来说,如果你要操作数据库什么的,需要在这里处理items,你可以把items写入数据库,但是今天我们用不到数据库,scrapy自带了一个很好的功能就是Feed exports,它支持多种格式的自动输出。
所以我们直接用这个就好了,pipelines维持不变。
settings.py:
1 |
|
FEED_EXPORT_ENCODING用gb18030常量来解决中文乱码问题,FEED_EXPORTERS表明了输出文件的格式,FIELDS_TO_EXPORT给定了输出字段的顺序。
itemcsvexporter.py:
1 |
|
这里需要注意的是有的版本不支持from scrapy.contrib.exporter import CsvItemExporter类,所以用from scrapy.exporters import CsvItemExporter替换即可。 通常结合setting中的字段顺序,规定最终CSV文件中的列排序规则。
爬虫主程序.py:(下一篇详细介绍)
1 |
|
爬虫主程序实现了爬取网页数据的具体逻辑,在下一讲会结合一个具体事例详细介绍。
改写完程序后,最终执行命令: Pycharm 用 alt+F12 切换到命令行在项目 peilv 路径上执行:
1 |
|
其中 FBP 是在“爬虫主程序.py”定义的——name = ‘FBP’,“-o BaseData.csv” 是将爬取的数据输出到 csv 文件中。
总结
以上首先创建一个工程和Spider模板,然后编写Spider,编写Item Pipeline,借助了Scrapy中的三个类——Request类、Response类和Item类。
同时我们以一个实战项目为依托,将建立 Scrapy 项目的过程从零开始,深入浅出,让读者能够实践爬虫的整个过程。