PyQuery 库是一个非常强大又灵活的网页解析库,如果你有前端开发经验,那么你应该接触过 jQuery ,那么 PyQuery 就是你非常绝佳的选择,PyQuery 是 Python 仿照 jQuery 的严格实现,语法与 jQuery 几乎完全相同。
安装
跟安装其他库一样:
1 |
|
安装了之后,在程序里面就可以引用了,引用方法跟其他库类似:
1 |
|
初始化
PyQuery 可以将 HTML 字符串初始化为对象,也可以将 HTML 文件初始化为对象,甚至可以将请求的响应初始化为对象。下面我们一个个来介绍。
初始化字符串
对于一个标准的 HTML 字符串,PyQuery 可以直接初始化为对象:
1 |
|
我们可以看到,HTML 字符串初始化后,打印出来的是一个 PyQuery 对象。
如果我们的字符串不是 HTML 格式内容,PyQuery 会自动加上段落标签将字符串内容包装成 HTML 内容。例如:
1 |
|
初始化 HTML 文件
初始化文件,只需要加个 filename 参数,指明 文件路径即可:
1 |
|
如果文件不是 HTML 文件,那么初始化的时候会自动加上 HTML 标签。例如:
1 |
|
我的 test.txt 文件中只有一行内容: this is a txt。初始化完后,自动添加了 HTML 标签。
初始化请求响应
我们可以把请求的网址内容初始化为 PyQuery 对象,只需要加个参数 url ,将网址赋值给它即可。例如:
1 |
|
我们请求百度的首页,然后初始化为对象,后面内容较多,因此省略。
常用 CSS 选择器
PyQuery 里面 CSS 选择器的用法跟 jQuery 里面是一样的,例如,针对上面的 HTML 字符串内容,我们获取 id 为 container 的标签,然后打印出来:
1 |
|
我们也可以用 class 选择器,例如:
1 |
|
再复杂一点,我们可以使用多层选择器,例如:
1 |
|
当然,我们同样可以根据 CSS 选择器修改 HTML 标签的内容:
1 |
|
这里我们给 class 为“li2”的标签加了字体的大小,可以看到返回的内容中有了 style 属性。
虽然 PyQuery 有修改 HTML 内容的方法,但是我们一般不会用到,因为我们一般是解析 HTML 内容,而不是去修改它,大家了解一下即可。
伪类选择器
伪类(Pseudo-classes)是指在 HTML 中,同一个标签,根据其不同的状态,有不同的显示样式。详细的用法可以参考: https://www.runoob.com/css/css-pseudo-classes.html ,里面有详细的介绍。
我们主要应用伪类选择器来解析 HTML,获取我们所需的数据。例如:
1 |
|
我们也可以用 contains 方法来筛选内容,例如:
1 |
|
我们可以看到,如果查找的结果有多条记录,那么结果会将多条记录拼在一起。当然,如果查找的内容不存在,就会返回空。
查找标签
我们可以按照条件在 Pyquery 对象中查找符合条件的标签,类似于 BeautifulSoup 中的 find 方法。 例如,我要查找 id 为 container 的标签:
1 |
|
我要查找 id 为 container 的标签的子标签,使用 children 方法就可以实现:
1 |
|
查找父标签,我们可以用 parent 方法:
1 |
|
查找兄弟标签,我们用 siblings 方法:
1 |
|
标签信息的提取
前面我们讲的都是怎么定位到标签,这只是我们解析数据的第一步,接下来我们需要从标签中提取我们需要的信息。
如果你需要提取标签的属性值,可以用 .attr() 方法,例如:
1 |
|
如果你细腰提取标签内的文本,我们可以用 .text() 方法,例如:
1 |
|
如果要获取某个标签下面的所有文本(包含子标签的),怎么做?我们来看下个例子:
1 |
|
很简单,我们只需要找到这个标签,使用 .text() 方法。
如果我们要获取某个标签下面的所有文本,但是要排除某些标签的文本,该怎么做?我们来看下个例子:
1 |
|
我们可以用 .remove() 来删除某些标签,上面例子中可以看到,我们把 title 标签去掉了,title 标签对应的内容 China 也就去掉了。
PyQuery 处理复杂的网址请求
前面我们介绍了 PyQuery 可以获取网址请求的 HTML 内容,并转化为对象。我们在请求 URL 时,或许会遇到需要附带一些参数的情况,这些自定义的参数在 PyQuery 请求时也是支持的,例如 cookies 和 headers,我们看例子:
1 |
|
总结
这篇文章给大家介绍了 PyQuery 的常见使用方法,大家如果用的熟练的话,还是可以极大地节约我们解析 HTML 网页内容的时间的。PyQuery 可以称得上是爬虫神器,还有一些用法由于篇幅有限,没有进行介绍。大家可以去官网详细查看,官网地址: https://pythonhosted.org/pyquery/ 。
文中示例代码:Python-100-days-day067