微信公众号内容爬虫

有时候我们遇到一个好的公众号，里面的每篇都是值得反复阅读的，这时就可以使用公众号爬虫将内容抓取保存下来慢慢赏析。

文件操作中最基本的当然属于文件的读写操作。当我们利用爬虫抓取到一堆数据时，就需要进行文件写操作，将数据写入到文件当中；当我们需要对抓取到的文件内容进行筛选，获取有效信息时，需要对文件进行读操作。本文将介绍文件操作的一些基本内容，助您更高效的处理文件。

上一篇中我们介绍了文件的基本读写操作，但是很多时候数据的读写并不一定都是在文件中，我们也可以在内存中读写数据，因此引出我们今天的主要内容，即 StringIO 和 BytesIO，让你学会在内存中进行数据的基本读写操作。

今天我们一起来探究 Python 中一个很有趣的模块–Matplotlib，Matplotlib 是一个非常优秀的 Python 2D 绘图库，只要给出符合格式的数据，通过 Matplotlib 就可以方便地制作数据图。

上一篇文章中我们详细介绍了 NumPy 的功能及用途，本章节着重介绍 NumPy 一个神奇的对象 Ndarray 以及 NumPy 数据类型，包括两者的用途，接下来就开启神奇之旅吧。

Redis 作为常用的 NoSql 数据库，主要用于缓存数据，提高数据读取效率，那在 Python 中应该如果连接和操作 Redis 呢？今天就为大家简单介绍下，在 Python 中操作 Redis 常用命令。

机器学习

本篇同样是机器学习，虽然没有用到python中已有的算法和函数，但借鉴了机器学习中的思路。

这篇机器学习建模的思路比较新颖，模型评估也比较独特。旨在引导广大读者借鉴，举一反三。

只是通过足球领域举例，可扩展到其他任何领域，达到抛砖引玉的目的。

今天来为大家介绍一个有意思的开源微信个人号 API，它是基于 Python 调用微信网页版实现，只需要编写少量的代码，就可以完成一个能够处理所有信息的微信机器人。那它到底能实现了什么功能，接下来为大家一一介绍。

Python 实现机器学习

如果你的机器学习预测模型表现得不尽如人意，那就用XGBoost。XGBoost算法现在已经成为很多数据工程师的重要武器。

爬虫编写流程

首先明确 Python 爬虫代码编写的流程：先直接打开网页，找到你想要的数据，就是走一遍流程。比如这个项目我要爬取历史某一天所有比赛的赔率数据、每场比赛的比赛结果等。

那么我就先打开这个网址：https://live.leisu.com/wanchang?date=20190606 然后点击“竞彩”，再点击“指数”，跳转到另一个网址：https://live.leisu.com/3in1-2674547，然后就看到了想要的数据：各公司主队获胜赔率1.61、1.65等。

到此为止，开始动手通过代码实现这个过程。

上一篇 LeetCode 面试题中，我们分析了一道集合相关的数学题。现在我们再来看一个排序相关的面试题吧~

上一篇 LeetCode 面试题中，我们分析了一道简单的几何数学题。今天我们来分析一道集合相关的数学题。

Scrapy 框架实现爬虫的基本原理

Scrapy 就是封装好的框架，你可以专心编写爬虫的核心逻辑，无需自己编写与爬虫逻辑无关的代码，套用这个框架就可以实现以上功能——爬取到想要的数据。

Scrapy是一个Python实现的轻量级爬虫框架，它借助Twisted实现异步抓取。

Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

本文档将通过介绍Scrapy背后的概念使您对其工作原理有所了解，如果暂时理解不深也没关系，后边会结合实例具体介绍。

1 简介

newspaper 框架是一个主要用来提取新闻内容及分析的 Python 爬虫框架，更确切的说，newspaper 是一个 Python 库，但这个库由第三方开发。

Pysider

Pysider 是一个国人用 Python 编写的、带有强大的 WebUI 的网络爬虫系统，它支持多种数据库、任务监控、项目管理、结果查看、URL去重等强大的功能。

安装

1

pip3 install pysider

运行

命令行运行

1

pyspider

运行成功后，在浏览器地址中输入

1

localhost:5000

进入 Pyspider 控制台

从一个网站开始

选取一个新闻网站 “http://www.chinashina.com/rexinwen/” 作为学习 Pysider 的开始。

创建项目

在创建表单中填写项目名和爬虫开始的 URL,点击 Create 按钮

下面是 xinwen 爬虫系统的初始化代码

我们来看一下，爬虫系统的入口函数

1
2

def on_start(self):
    self.crawl('http://www.chinashina.com/rexinwen/',callback=self.index_page)

1. on_start() 函数爬虫系统的入口函数
2. crawl() 函数 Pyspider 抓取指定页面，然后使用 callback 函数对结果进行解析
3. @every(minutes=24 * 60) 装饰器，表示每过多久运行一次，是一个计划任务

点击 左窗口中的 run 按钮，会在 follows 安装上看到一个带红色的 1 ，这个表示抓取到了一个URL，点击它。这时会切换到 follows 面板，点击绿色播放按钮

翻页和列表页面处理

在点击绿色播放按钮后，会发现 Pysider 已经抓取到了好多个 URL 地址，其中的一些地址已经做了去重复处理。在这些 URL 地址中大多数是不需要的，所以我们需要进一步的对这些 URL 过滤。

对页面的分析发现，翻页的 URL 都是带有 list_32_x.html 的地址。

1
2
3
4
5
6
7
8
9
10
11
12
13

<div class="pagination-wrapper"> 
    <div class="pagination"> 
        <li><a>首页</a></li>
        <li class="thisclass"><a>1</a></li>
        <li><a href="list_32_2.html">2</a></li>
        <li><a href="list_32_3.html">3</a></li>
        ...
        <li><a href="list_32_7.html">7</a></li>
        <li><a href="list_32_2.html">下一页</a></li>
        <li><a href="list_32_7.html">末页</a></li>
        <li><span class="pageinfo">共 <strong>7</strong>页<strong>137</strong>条</span></li>
    </div> 
</div>

在 index_page() 函数中使用正则表达式，提取翻页URL，并编写一个 list_page() 函数解析列表页面的 URL，列表页面都是带有 plus/view.php?aid=x.html 的页面

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

import re

@config(age=10 * 24 * 60 * 60)
def index_page(self, response):
    for each in response.doc('a[href^="http"]').items():
        if re.match(".*list_32_\d+\.html", each.attr.href, re.U):
            self.crawl(each.attr.href, callback=self.list_page)
    # 将第一页的抓取
    self.crawl(" http://www.chinashina.com/rexinwen/list_32_1.html",callback=self.list_page)

@config(age=10 * 24 * 60 * 60)       
def list_page(self, response):
    for each in response.doc('a[href^="http"]').items():
        if re.match(".*plus/view.php\?aid=\d+\.html", each.attr.href, re.U):
            self.crawl(each.attr.href, callback=self.detail_page)

1. age 表示在10天之内这些页面不需要再次抓取

详情页处理

在详情页中需要提取新闻的标题、正文、来源、编辑者和时间，可以使用 Pysider 的 HTML 和 CSS 选择器提取数据。 在 Pysider 的 response.doc 中 内置了 PyQuery 对象，可以像 JQuery 一样操作 Dom 元素。

左窗口切换到 WEB 页面，然后点击 enable css selector helper 按钮，此时把鼠标放到左窗口的页面上，鼠标所在的标签变成了黄色，在它的上面可以看到当前标签的路径，点击向右箭将把路径复制到光标处

修改 detail_page() 函数

1
2
3
4
5
6
7

@config(priority=2)
def detail_page(self, response):
    return {
        "title": response.doc('.news_title').text(),
        "other": response.doc('html > body > .clearfix > .main_lt > div > .news_about > p').text(),
        "body": response.doc('html > body > .clearfix > .main_lt > div > .news_txt').text()
    }

1. priority 是优先级的意思

点击 run 按钮

如果觉得 Pysider 提取的元素路径并不合适，也可以使用在 Google 浏览器中审查元素，提取一个适合的元素选择器。

自动抓取

在 Dashboard 页面如下操作，将自动抓取页面

1. 将 status 修改为 DEBUG 或 RUNNING
2. 按 run 按钮

下面是自动抓取的结果

点击 Dashboard 界面的 Results 按钮

保存到 Mysql

重写 on_result() 函数

在 Pysider 抓取的结果保存到数据库，必须重写 on_result() 函数。on_result() 函数在每个函数结束都会被调用，所以必须判断 result 参数是不是空的。

1
2
3
4
5
6
7

from pyspider.database.mysql.crawlerdb import crawlerdb

def on_result(self,result):
    if not result:
        return
    sql = crawlerdb()
    sql.insert(result)

自定义保存模块

crawlerdb 模块是一个把结果保存到 Mysql 数据库的自定义模块，模块存放的地址每个人的路径都不相同，我的是在 /Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/pyspider/database/mysql 下。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

#!/usr/bin/env python
# -*- encoding: utf-8 -*-

import mysql.connector
import pymysql

from pyspider.result import ResultWorker


class crawlerdb:
    conn = None
    cursor = None

    def __init__(self):
        self.conn = pymysql.connect("127.0.0.1", "root", "12345678", "crawler")
        self.cursor = self.conn.cursor()


    def insert(self, _result):
        sql = "insert into info(title,body,editorial,ctime) VALUES('{}','{}','{}','{}')"
        try:
            sql = sql.format(pymysql.escape_string(_result.get('title')), pymysql.escape_string(_result.get('body')), _result.get('editorial'),_result.get('ctime'))
            self.cursor.execute(sql)
            self.conn.commit()
            return True
        except mysql.connector.Error:
            print('插入失败')
            return False

运行问题

async 关键字问题

1
2
3
4

File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/pyspider/fetcher/tornado_fetcher.py", line 81
    def __init__(self, inqueue, outqueue, poolsize=100, proxy=None, async=True):
                                                                        ^
SyntaxError: invalid syntax

这个问题主要是因为在 Python3 中 async 变成了一个关键字，解决的方法就是打开 出错的文件（ tornado_fetcher.py ）将出错的 async 改为其他变量名

总结

在学会了 Pysider 框架后，在抓取页面中，主要的工作将放在在解析页面上，不需要关注抓取任务的定时计划和 URL 去重，超级方便、快捷，是 Python 人必学的框架之一。

代码地址

示例代码：Python-100-days-day072

上一篇 LeetCode 面试题中，我们分析了一道字符串的算法题 - 反转字符串中的元音字母，今天我们来分析一道简单的几何题吧。

Beautiful Soup 简介

Beautiful Soup 是一个可以从 HTML 或 XML 文件中提取数据的 Python 库，它提供了一些简单的操作方式来帮助你处理文档导航，查找，修改文档等繁琐的工作。因为使用简单，所以 Beautiful Soup 会帮你节省不少的工作时间。

Beautiful Soup 简介

Beautiful Soup 是一个可以从 HTML 或 XML 文件中提取数据的 Python 库，它提供了一些简单的操作方式来帮助你处理文档导航，查找，修改文档等繁琐的工作。因为使用简单，所以 Beautiful Soup 会帮你节省不少的工作时间。

上一篇文章我们介绍了如何使用 Beautiful Soup 来遍历文档中的节点，这片文章我们继续血学习如何使用 Beautiful Soup 指定文档中搜索到你想要的内容。

在之前的课程中,介绍过 Flask-Login 框架，它是基于 Session 和 Cookie 技术来实现用户授权和验证的，不过 Session 有很多的局限性，这一节介绍一种基于 token 的验证方式 —— JWT (JSON Web Token)，除了对 JWT 的概念讲解之外，还有在 Flask 中简单实践

今天来为大家介绍 Django 框架的模型部分，模型是真实数据的简单明确的描述，它包含了储存的数据所必要的字段和行为，Django 遵循 DRY Principle 。它的目标是你只需要定义数据模型，然后其它的杂七杂八代码你都不用关心，它们会自动从模型生成。