多亏学了这个python库,一晚上端掉了一个传销团伙。。。

“这是从他们窝点电脑里导出的一份数据,你先看看能不能找出什么端倪,我再去找几个人问问话。”王队丢给我一个u盘,拿起饭盒胡乱塞了几口饭,便拎起帽子快步走出了办公室。

今晚我们根据情报,前往一处传销窝点实施了抓捕行动,一次性逮捕了十几个人。但现场没有发现什么重要证据,抓到的几个人也缄口不言,现在没法知道他们是否还有其他的窝点,也不知道他们的上线是谁在哪里。而此时我手中的这份文件,可能就会成为破局的关键。

我开始观察起这份人员名单:invite_id字段是不重复的,应该和人名是一对一的关系;而invited_id重复的很多,而且基本都是在invite_id出现过的数据,所以我们基本可以推断出,这是一份记录传销组织上下线关系的名单。数据足有数百条之多,可见这是一个不小的犯罪组织。

不到一个小时的功夫,王队回来了。

“没用,还是死鸭子嘴硬。”王队倒在椅子上,看了一眼时间,已经快到十二点了。“那份数据看的怎么样了,有没有找到什么线索?”

“这是一个很大的组织,总成员数有好几百,我们现在可能只抓到了冰山一角啊。”

“这对传销组织来说也正常,毕竟他们需要不断发展下线。”王队走到我的工位前,“所以我们现在的任务是先找到他们的上线,擒贼先擒王。但今晚抓到的这群人都审不出东西来,虽然能确定他们的身份,暂时也还是确定不了他们之间的关系啊。”

“你说他们之间的关系?”我突然想起前段时间看到的networkx这个库,这次说不定能派上用场。“交给我了,给我五分钟时间。”

首先用pandas导入文件中的数据,并筛选出我们需要的部分:

1
2
3
df = pd.read_excel('./doc/1_evidence.xls')
df = df.loc[:, ['id','name','invite_id','invited_id']]
df.columns = ['id','title','to', 'from']

然后调用networkx库,生成层级关系图并导出:

1
2
3
4
5
G = nx.from_pandas_edgelist(df, 'from', 'to', create_using=nx.DiGraph())

nt = net.Network('960px', '1280px', directed=True)
nt.from_nx(G)
nt.show('1_evidence.html')

这样我就得到了这份文件对应的层级关系图,上下线关系瞬间一目了然了:

一瞬间王队露出了惊喜的神色,但很快又恢复了严肃:“你这个是不是有点华而不实啊,虽然看着挺直观,但你能从里面找到谁是这个组织的最上级吗?”

这当然难不倒我,最上级也就是树的根节点,必然是没有其他的点指向它的,所以我们只要遍历所有节点,找到入度为0的点就可以了。

1
2
3
4
5
6
# 找到根节点
top_node = []
for node, degrees in G.in_degree():
    if degrees == 0:
        top_node.append(node)
print('Big Boss:', top_node)

“Big Boss: [100000]” 屏幕上出现了这样的输出。“100000这个编号在表中没有对应的人,但100000下只有一个编号162385的下线,他应该就是这个组织的头头了。”

“不错,要的就是这个!我去让其他同事找这个人的信息,你继续研究数据,把和这个人走的近的人全部找出来!”

这想必也不是难题,既然根节点已经找到了,我们便可以得到所有节点各自所在的层数。

1
2
3
4
5
6
7
8
9
10
11
12
13
# 设置所有节点级别
l = nx.shortest_path_length(G, 100000)
nx.set_node_attributes(G, l, 'level')

# 计算每级人员数目
data = {}
for node, level in l.items():
    if level in data.keys():
        data[level].append(node)
    else:
        data[level] = [node]
for level, nodes in data.items():
    print(level, len(nodes))

这个组织竟然已经足足发展了36层,想想真是让人直冒冷汗,还好及时被发现了。

然后根据层级给节点标注颜色,方便观察:

1
2
3
4
5
6
7
8
9
10
11
# 添加颜色
for node in G.nodes:
    G.nodes[node]['title'] = str(node)
    level = G.nodes[node]['level']

    if level == 0:
        G.nodes[node]['color'] = 'red'
    elif level == 1:
        G.nodes[node]['color'] = 'orange'
    elif level == 2:
        G.nodes[node]['color'] = 'yellow'

可以看到这个编号162385的人,自己只有两个下线,而这两个下线每人都各自另外发展了几十个下线,想想还蛮有意思。

“找到了!”王队回到办公室,虽然仍是一脸严肃,但也难掩心中的喜悦。“三个人都找到了,都在今晚逮捕的这群人里面,他们也都承认了,现在正在重点审。”

“你今晚立了件大功啊!”王队走过来拍了拍我的肩膀。“不过现在还没完,根据他们的口供,文件里的就是他们组织的全部人员信息了。你现在把他们发展下线最多的几个人给我找出来,我们根据信息,立刻安排定点抓捕。”

跟之前差不多,我只需要遍历所有节点的出度数,然后排序,取前几项就可以了。

1
2
3
4
5
6
7
# 给下线前十的目标添加颜色
degrees = G.out_degree()
top_nodes = sorted(degrees, key=lambda x: x[1], reverse=True)[:10]
print(top_nodes)

for node in top_nodes:
    G.nodes[node[0]]['color'] = 'green'

然后给目标节点加上颜色,方便观察,最终得到了这样的关系图:

“干得不错,只要再把这几个人抓到,就相当于切断了这个组织的大动脉,后面的慢慢收尾就可以了。”王队把文件合上,笑着对我说。“没想到你还有这本事,真是后生可畏呀!”

“今天抓到的那三条大鱼,现在审出什么结果了?”相对于其他,我还是对案情本身更感兴趣。

“哈哈别提了,都快笑死我了。这仨人一看见证据直接慌了神了,开始互相推卸责任,老大说人全是另外两个人拉来的他都没参与,另外俩人说事情全是老大策划的他俩就是打工的,现在估计还在吵着呢…”

(本文背景情节数据均为虚构,如有雷同纯属巧合) (公众号后台回复“乌鸦”,获取代码和实验数据)

Python Geek Tech wechat
欢迎订阅 Python 技术,这里分享关于 Python 的一切。