第70天: Python Scrapy 爬虫框架及搭建

Scrapy 框架实现爬虫的基本原理

Scrapy 就是封装好的框架,你可以专心编写爬虫的核心逻辑,无需自己编写与爬虫逻辑无关的代码,套用这个框架就可以实现以上功能——爬取到想要的数据。

Scrapy是一个Python实现的轻量级爬虫框架,它借助Twisted实现异步抓取。

Scrapy 是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。

本文档将通过介绍Scrapy背后的概念使您对其工作原理有所了解,如果暂时理解不深也没关系,后边会结合实例具体介绍。

Python 爬虫基本流程

A 发起请求———B 解析内容———C 获取响应内容———D 保存数据

A 通过 HTTP 向目标站点发起请求,即发送一个 Request ,请求可以包含额外的 headers 等信息,等待服务器响应。

B 得到的内容可能是 HTML ,可以用正则表达式、网页解析库进行解析。可能是 Json ,可以直接转为 Json 对象解析,可能是二进制数据,可以做保存或者进一步的处理。

C 如果服务器能正常响应,会得到一个 Response , Response 的内容便是所要获取的页面内容,类型可能有 HTML , Json 字符串,二进制数据(如图片视频)等类型。

D 保存形式多样,可以存为文本,也可以保存至数据库,或者保存特定格式的文件。

搭建自己本机环境如下:Windows7 64bit———Python3.7———Pycharm64

安装 Python———安装 Pycharm———安装 Scrapy———新建爬虫项目

简单解释:将 Python 比作 Java ,那么 Pycharm 就相当于 eclipse , Pycharm 就是 Python 语言的运行环境 IDE 工具。

安装 Python

在 Python 的官网 www.python.org 中找到最新版本的 Python 安装包,点击进行下载,请注意,当你的电脑是32位的机器,请选择32位的安装包,如果是64位的,请选择64位的安装包;

我自己机器是 win7 64bit 所以我下载的是 python-3.7.4.amd64.exe,其中的 add python 3.7 to PATH 一定要勾选。

另外安装 python 路径不要有中文和空格,避免以后麻烦。后边就点击下一步即可。

如果忘记勾选则需要手动添加环境变量:(需要添加两个: c:\python3.7.0;c:\python3.7.0\Scripts)

右键计算机——点击属性——点击高级系统设置——高级——环境变量——用户变量——PATH 添加自己安装 python 的路径。

安装 Pycharm

本篇对于环境的搭建只是起到抛砖引玉的作用,建议大家以下边做参考。

https://www.runoob.com/w3cnote/pycharm-windows-install.html

安装 Scrapy

由于安装 Scrapy 不是本系列重点,所以仅展示 Windows 系统上安装 Scrapy 的步骤。注意:一定按顺序安装。 Cmd 进入 dos 窗口:

1
2
3
4
5
6
7
8
9
10
C:\Users\Administrator>python
Python 3.7.0 (v3.7.0:1bf9cc5093, Jun 27 2018, 04:59:51) [MSC v.1914 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
C:\Users\Administrator>python -m pip -V
pip 19.0.3 from c:\python3.7.0\lib\site-packages\pip (python 3.7)  
1.python -m pip install --upgrade pip
2.python -m pip install Twisted-18.9.0-cp37-cp37m-win_amd64.whl
3.python -m pip install pypiwin32
4.python -m pip install scrapy
5.python -m pip install requests

如果中途安装遇到问题请及时 Google 查阅资料,查阅就是积累的过程。

Scrapy 创建新项目:

Pycharm 中用 alt+F12 切换到命令行,在命令行输入:

1
(venv2) E:\>scrapy startproject peilv

就会生成 Scrapy 项目,项目名称是 peilv ,结构如下:主要改写2个文件:“items、settings”,新增2个文件:“爬虫主程序”、itemcsvexporter。

1
2
3
4
5
6
7
8
9
10
11
12
peilv
scrapy.cfg                     #创建项目时自动生成,项目的配置文件
peilv/
    __init__.py                #创建项目时自动生成,无需任何改动
    items.py                   #创建项目时自动生成,定义爬取的字段    
    pipelines.py               #创建项目时自动生成,如存入文件,无需任何改动    
    settings.py                #创建项目时自动生成,将爬取字段按顺序输出    
    middlewares.py             #创建项目时自动生成,无需任何改动    
    spiders/   
        __init__.py            #创建项目时自动生成,无需任何改动	
	itemcsvexporter.py     #需自己编写,代码固定	
        爬虫主程序.py           #需自己编写,爬虫的主程序

items.py:

1
2
3
4
5
6
7
## -*- coding: utf-8 -*-
import scrapy
class PeilvItem(scrapy.Item):
    # define the fields for your item here like:
    cc  = scrapy.Field()#changci
    li =  scrapy.Field()#libo
    b5  = scrapy.Field()#bet365

以上是定义您想抓取的数据,在Scrapy中, 这是通过 Scrapy Items 来完成的。通过scrapy.Field()方法创建需要存储的字段,比如cc存储比赛的场次信息,li存储立博的赔率信息,等等。

关于这个items.py,你只要考虑它就是一个存储数据的容器,可以考虑成一个结构体,你所有需要提取的信息都在这里面存着。

这里我们需要存储3个变量,cc,li,b5,所以我在里面加入三个变量,就这么简单。

pipelines.py:

一般来说,如果你要操作数据库什么的,需要在这里处理items,你可以把items写入数据库,但是今天我们用不到数据库,scrapy自带了一个很好的功能就是Feed exports,它支持多种格式的自动输出。

所以我们直接用这个就好了,pipelines维持不变。

settings.py:

1
2
3
4
5
6
7
8
9
10
11
12
## -*- coding: utf-8 -*-
FEED_EXPORT_ENCODING = "gb18030" #解决导出的 Excel 文件中文乱码问题
...
FEED_EXPORTERS = {
    'csv': 'peilv.spiders.itemcsvexporter.itemcsvexporter',
}   
FIELDS_TO_EXPORT = [
    'cc',#比赛场次
    'li',#立博的赔率
    'b5',#bet365的赔率
   ]
...

FEED_EXPORT_ENCODING用gb18030常量来解决中文乱码问题,FEED_EXPORTERS表明了输出文件的格式,FIELDS_TO_EXPORT给定了输出字段的顺序。

itemcsvexporter.py:

1
2
3
4
5
6
from scrapy.conf import settings
from scrapy.exporters import CsvItemExporter
#指定输出到 csv 文件中字段的顺序,结合 setting.py
class itemcsvexporter(CsvItemExporter):
    def __init__(self, *args, **kwargs):
...

这里需要注意的是有的版本不支持from scrapy.contrib.exporter import CsvItemExporter类,所以用from scrapy.exporters import CsvItemExporter替换即可。 通常结合setting中的字段顺序,规定最终CSV文件中的列排序规则。

爬虫主程序.py:(下一篇详细介绍)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
## -*- coding: utf-8 -*-
ls_url = 'https://live.leisu.com/wanchang?date='#ls历史https://live.leisu.com/wanchang?date=20190606
class LiveJiangSpider(scrapy.Spider):
    name = 'FBP'
    allowed_domains = ['leisu.com']
    def start_requests(self):
            d1='20190606' #历史的比赛
            request = scrapy.http.FormRequest(ls_url + d1,callback=self.parseLs, meta={'d1': d1}) #历史的比赛
            # request = scrapy.http.FormRequest(wl_url + d1,callback=self.parseWl, meta={'d1': d1})#未来的比赛
            yield request
    def parseLs(self,response):
        d2=response.meta['d1']
        sel=response.xpath
        racelist=[e5.split("'") for e5 in sel('//li[@data-status="8"]/@data-id').extract()]
        for raceid in racelist:#raceid=['2674547'];raceid[0]=2674547
            item = PeilvItem()
            sel_div=sel('//li[@data-id='+str(raceid[0])+']/div[@class="find-table layout-grid-tbody hide"]/div[@class="clearfix-row"]')
            if str(sel_div.xpath('span[@class="lab-lottery"]/span[@class="text-jc"]/text()').extract()) == "[]":
                item['cc']=""
            else:
                item['cc']=str(d2) + str(sel_div.xpath('span[@class="lab-lottery"]/span[@class="text-jc"]/text()').extract()[0])
            if "周" in item['cc']:#取竞彩-周一001等
                plurl='https://live.leisu.com/3in1-'+raceid[0]
                request = scrapy.http.FormRequest(plurl,callback=self.parse,meta={'item':item})
                yield request #并非return,yield压队列,parse函数将会被当做一个生成器使用。scrapy会逐一获取parse方法中生成的结果,并没有直接执行parse,循环完成后,再执行parse
    def parse(self, response):
        print('--------------into parse----------------------')
        item = response.meta['item']
        pv=response.xpath
        pl_str = '/td[@class="bd-left"]/div[@class="begin float-left w-bar-100 bd-bottom p-b-8 color-999 m-b-8"]/span[@class="float-left col-3"]/text()'
        if str(pv('//*[@data-id="5"]'+pl_str).extract())=="[]":
            item['li'] =  ''
        else:
            item['li']=pv('//*[@data-id="5"]' + pl_str).extract()[0]
        if str(pv('//*[@data-id="2"]'+pl_str).extract())=="[]":
            item['b5'] =  ''
        else:
            item['b5']=pv('//*[@data-id="2"]' + pl_str).extract()[0]
        yield item#程序在取得各个页面的items前,会先处理完之前所有的request队列里的请求,然后再提取items

爬虫主程序实现了爬取网页数据的具体逻辑,在下一讲会结合一个具体事例详细介绍。

改写完程序后,最终执行命令: Pycharm 用 alt+F12 切换到命令行在项目 peilv 路径上执行:

1
2
(venv2) E:\>cd peilv\peilv 
(venv2) E:\peilv\peilv>scrapy crawl FBP -o BaseData.csv

其中 FBP 是在“爬虫主程序.py”定义的——name = ‘FBP’,“-o BaseData.csv” 是将爬取的数据输出到 csv 文件中。

总结

以上首先创建一个工程和Spider模板,然后编写Spider,编写Item Pipeline,借助了Scrapy中的三个类——Request类、Response类和Item类。

同时我们以一个实战项目为依托,将建立 Scrapy 项目的过程从零开始,深入浅出,让读者能够实践爬虫的整个过程。

代码地址

示例代码:Python-100-days-day070

Python Geek Tech wechat
欢迎订阅 Python 技术,这里分享关于 Python 的一切。