今天在知乎上看到一个关于【世纪佳缘找对象靠谱吗?】的讨论,其中关注的人有 1903,被浏览了 1940753 次,355 个回答中大多数都是不靠谱。用 Python 爬取世纪佳缘的数据是否能证明它的不靠谱?
数据抓取
在 PC 端打开世纪佳缘网站,搜索 20 到 30 岁、不限地区的女朋友
翻了几页找到一个 search_v2.php 的链接,它的返回值是一个不规则的 json 串,其中包含了昵称、性别、是否婚配、匹配条件等等
点开 Hearders 拉到最下面,在它的参数中 sex 是性别、stc 是年龄、p 是分页、listStyle 是有照片
通过 url + 参数的 get 方式,抓取了 10000 页的数据总共 240116
需要安装的模块有 openpyxl,用于过滤特殊的字符
1 |
|
发现秘密
在处理数据去掉重复的时候发现有好多重复的,还以为是代码写的有问题呢,查了好久的 bug 最后才发现网站在 100 页只有的数据有好多重复的,下面两个图分别是 110 页数据和 111 页数据,是不是有很多熟面孔。
110 页数据
111 页数据
过滤重复后的数据只剩下 1872 了,这个水分还真大
1 |
|
总结
世纪佳缘的数据告诉我们网上交友需谨慎。用好 Python 走遍网络都不怕。
示例代码:爬了世纪佳缘后发现了一个秘密