上一篇 LeetCode 面试题中,我们分析了一道简单的几何数学题。今天我们来分析一道集合相关的数学题。
第70天: Python Scrapy 爬虫框架及搭建
Scrapy 框架实现爬虫的基本原理
Scrapy 就是封装好的框架,你可以专心编写爬虫的核心逻辑,无需自己编写与爬虫逻辑无关的代码,套用这个框架就可以实现以上功能——爬取到想要的数据。
Scrapy是一个Python实现的轻量级爬虫框架,它借助Twisted实现异步抓取。
Scrapy 是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。
本文档将通过介绍Scrapy背后的概念使您对其工作原理有所了解,如果暂时理解不深也没关系,后边会结合实例具体介绍。
第74天:Python newspaper 框架
第72天: PySpider框架的使用
Pysider
Pysider 是一个国人用 Python 编写的、带有强大的 WebUI 的网络爬虫系统,它支持多种数据库、任务监控、项目管理、结果查看、URL去重等强大的功能。
安装
1 |
|
运行
命令行运行
1 |
|
运行成功后,在浏览器地址中输入
1 |
|
进入 Pyspider 控制台
从一个网站开始
选取一个新闻网站 “http://www.chinashina.com/rexinwen/” 作为学习 Pysider 的开始。
创建项目
在创建表单中填写项目名和爬虫开始的 URL,点击 Create 按钮
下面是 xinwen 爬虫系统的初始化代码
我们来看一下,爬虫系统的入口函数
1 |
|
- on_start() 函数爬虫系统的入口函数
- crawl() 函数 Pyspider 抓取指定页面,然后使用 callback 函数对结果进行解析
- @every(minutes=24 * 60) 装饰器,表示每过多久运行一次,是一个计划任务
点击 左窗口中的 run 按钮,会在 follows 安装上看到一个带红色的 1 ,这个表示抓取到了一个URL,点击它。这时会切换到 follows 面板,点击绿色播放按钮
翻页和列表页面处理
在点击绿色播放按钮后,会发现 Pysider 已经抓取到了好多个 URL 地址,其中的一些地址已经做了去重复处理。在这些 URL 地址中大多数是不需要的,所以我们需要进一步的对这些 URL 过滤。
对页面的分析发现,翻页的 URL 都是带有 list_32_x.html 的地址。
1 |
|
在 index_page() 函数中使用正则表达式,提取翻页URL,并编写一个 list_page() 函数解析列表页面的 URL,列表页面都是带有 plus/view.php?aid=x.html 的页面
1 |
|
- age 表示在10天之内这些页面不需要再次抓取
详情页处理
在详情页中需要提取新闻的标题、正文、来源、编辑者和时间,可以使用 Pysider 的 HTML 和 CSS 选择器提取数据。 在 Pysider 的 response.doc 中 内置了 PyQuery 对象,可以像 JQuery 一样操作 Dom 元素。
左窗口切换到 WEB 页面,然后点击 enable css selector helper 按钮,此时把鼠标放到左窗口的页面上,鼠标所在的标签变成了黄色,在它的上面可以看到当前标签的路径,点击向右箭将把路径复制到光标处
修改 detail_page() 函数
1 |
|
- priority 是优先级的意思
点击 run 按钮
如果觉得 Pysider 提取的元素路径并不合适,也可以使用在 Google 浏览器中审查元素,提取一个适合的元素选择器。
自动抓取
在 Dashboard 页面如下操作,将自动抓取页面
- 将 status 修改为 DEBUG 或 RUNNING
- 按 run 按钮
下面是自动抓取的结果
点击 Dashboard 界面的 Results 按钮
保存到 Mysql
重写 on_result() 函数
在 Pysider 抓取的结果保存到数据库,必须重写 on_result() 函数。on_result() 函数在每个函数结束都会被调用,所以必须判断 result 参数是不是空的。
1 |
|
自定义保存模块
crawlerdb 模块是一个把结果保存到 Mysql 数据库的自定义模块,模块存放的地址每个人的路径都不相同,我的是在 /Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/pyspider/database/mysql 下。
1 |
|
运行问题
async 关键字问题
1 |
|
这个问题主要是因为在 Python3 中 async 变成了一个关键字,解决的方法就是打开 出错的文件( tornado_fetcher.py )将出错的 async 改为其他变量名
总结
在学会了 Pysider 框架后,在抓取页面中,主要的工作将放在在解析页面上,不需要关注抓取任务的定时计划和 URL 去重,超级方便、快捷,是 Python 人必学的框架之一。
代码地址
LeetCode面试系列 第10天:No.976 - 三角形的最大周长
上一篇 LeetCode 面试题中,我们分析了一道字符串的算法题 - 反转字符串中的元音字母,今天我们来分析一道简单的几何题吧。
第65天:爬虫利器 Beautiful Soup 之遍历文档
Beautiful Soup 简介
Beautiful Soup 是一个可以从 HTML 或 XML 文件中提取数据的 Python 库,它提供了一些简单的操作方式来帮助你处理文档导航,查找,修改文档等繁琐的工作。因为使用简单,所以 Beautiful Soup 会帮你节省不少的工作时间。
第66天:爬虫利器 Beautiful Soup 之搜索文档
Beautiful Soup 简介
Beautiful Soup 是一个可以从 HTML 或 XML 文件中提取数据的 Python 库,它提供了一些简单的操作方式来帮助你处理文档导航,查找,修改文档等繁琐的工作。因为使用简单,所以 Beautiful Soup 会帮你节省不少的工作时间。
上一篇文章我们介绍了如何使用 Beautiful Soup 来遍历文档中的节点,这片文章我们继续血学习如何使用 Beautiful Soup 指定文档中搜索到你想要的内容。
第82天: JWT 简介
在之前的课程中,介绍过 Flask-Login 框架,它是基于 Session 和 Cookie 技术来实现用户授权和验证的,不过 Session 有很多的局限性,这一节介绍一种基于 token 的验证方式 —— JWT (JSON Web Token),除了对 JWT 的概念讲解之外,还有在 Flask 中简单实践
第42天: Web 开发 Django 模型
今天来为大家介绍 Django 框架的模型部分,模型是真实数据的简单明确的描述,它包含了储存的数据所必要的字段和行为,Django 遵循 DRY Principle 。它的目标是你只需要定义数据模型,然后其它的杂七杂八代码你都不用关心,它们会自动从模型生成。
LeetCode面试系列 第9天:No.345 - 反转字符串中的元音字母
上一篇 LeetCode 面试题中,我们分析了一道相对轻松的字符串面试题 - 最后一个单词的长度。今天,我们接着来看另一道字符串的算法题吧。
第62天:HTTP 入门
HTTP 入门
HTTP,全称“超文本传输协议(HyperText Transfer Protocol)”,是构建我们今天所熟知的万维网的基础,也是我们在访问互联网时最常见的一种协议类型。
第57天: Flask 用户登录 Flask-Login
用户登录功能是 Web 系统一个基本功能,是为用户提供更好服务的基础,在 Flask 框架中怎么做用户登录功能呢?今天我们学习一下 Flask 的用户登录组件 Flask-Login
第55天:爬虫的介绍
作为程序员,相信大家对“爬虫”这个词并不陌生,身边常常会有人提这个词,在不了解它的人眼中,会觉得这个技术很高端很神秘。不用着急,我们的爬虫系列就是带你去揭开它的神秘面纱,探寻它真实的面目。
第54天: 多线程 Event
Event(事件)
Event 是一个事务处理的机制,用于通知多个异步任务某个事件已经发生了。比如在交通红绿灯中多辆在行驶中的汽车可以表示成程序中的多个异步任务,红绿灯的亮起可以表示成一个通知,红灯通知这个汽车的行驶任务必须停止了,绿灯通知这个汽车的行驶任务可以继续驾驶了。
第53天: Python 线程池
大家都知道当任务过多,任务量过大时如果想提高效率的一个最简单的方法就是用多线程去处理,比如爬取上万个网页中的特定数据,以及将爬取数据和清洗数据的工作交给不同的线程去处理,也就是生产者消费者模式,都是典型的多线程使用场景。
那是不是意味着线程数量越多,程序的执行效率就越快呢。
第52天:python multiprocessing模块
本节主要介绍 multiprocessing 多进程模块,由于 threading 多线程模块无法充分利用电脑的多核优势,而在实际开发中会对系统性能有较高的要求,就需要使用多进程来充分利用多核 cpu 的资源,下面详细介绍 Python 中的 multiprocessing。
第51天: Python Queue 入门
Python Queue 入门
Queue 简介
Queue 叫队列,是数据结构中的一种,基本上所有成熟的编程语言都内置了对 Queue 的支持。
Python 中的 Queue 模块实现了多生产者和多消费者模型,当需要在多线程编程中非常实用。而且该模块中的 Queue 类实现了锁原语,不需要再考虑多线程安全问题。
该模块内置了三种类型的 Queue,分别是 class queue.Queue(maxsize=0)
,class queue.LifoQueue(maxsize=0)
和 class queue.PriorityQueue(maxsize=0)
。它们三个的区别仅仅是取出时的顺序不一致而已。
第50天: Python Queue 进阶用法
上一篇文章简单介绍了 Queue 的入门操作,今天我们学习下 Queue 的进阶用法。
第49天:Python 多线程之 threading 模块
在之前的文章中,我们已经介绍了 Python 通过 _thread 和 threading 模块提供了对多线程的支持,threading 模块兼具了 _thread 模块的现有功能,又扩展了一些新的功能,具有十分丰富的线程操作功能,本节我们就来详细学习一下 threading 模块。
第48天:初识 Python 多线程
我们知道,多线程与单线程相比,可以提高 CPU 利用率,加快程序的响应速度。