发表于 | 分类于

一年一度的圣诞节又到了，对于这个重大的节日，今年的外国人可能比较难，还处在水深火热之中，希望他们一切都赶快好起来。在我们国内，我们还可以像往年一样正常地过节，虽然是一个外国人的节日，但是每年在这个日子里，还是成就了不少鸳鸯的，也不失是一件好事。作为 Python 程序员，你还在送花、送苹果、送口红吗？有没有想过程序猿式的浪漫？本文就抛砖引玉，为大家提供一种思路，希望大家喜欢。

阅读全文 »

发表于 | 分类于

最近开发中遇到个小问题，因为业务上的设计存在问题，导致数据库表总是被锁，而且是不定期的锁定，导致服务器运行异常，最后经过排查原因是多线程同时更新同一表中同一条记录导致问题。今天就来跟大家说说该如何避免这种问题。

阅读全文 »

发表于 | 分类于

封面

搜索引擎基本上是我们每个人天天都要用的东西，但大部分人使用搜索引擎的时候多半是输入关键字之后直接回车，那么你是否遇到过在试了各种关键字之后依然没找到自己想要的答案的时候呢，搜索引擎是智能的，同时也是不智能的，比如我们输入关键字苹果，它怎么知道你是想找水果苹果，还是想找苹果手机呢。

阅读全文 »

发表于 | 分类于

11月29日（2020年），腾讯举行了一场主题为 “重新定义开发” 的小程序开发技术峰会，发布的了新一代的云开发平台，用少量代码，甚至不用代码，就可以快速创建一个云应用，大幅降低应用开发门槛，让人人都能做开发，那么对于程序员以及打算学习编程的人来说，何去何从呢？

云开发厉害在哪里

零运维

相比于传统的系统开发，云开发省去了服务器搭建、系统部署、域名申请、服务器运维等工作

同时提供了弹性的计算能力：当请求量达到一定值，服务器会自动扩容，提高性能，如果请求量减少到一定量，服务器会自动缩容，甚至降低到零，以节省计算资源的使用成本

如果传统开发模式，要到的这样的效果，需要一个技术力量强大的团队才能行，而所作的这些工作，与业务本身关系不大

简单易用

鉴权

之前做个公众号或者小程序开发的童鞋，一定对微信复杂而繁琐的鉴权方式印象深刻，获取 accessToken 不但麻烦，而且还得在过期之前重新获取

使用云开发，会极大地简化了这个过程，并且弱化了相关概念，节省了工作量，降低了学习成本

在云开发平台上，原来各种复杂的事情，利用 微信 SDK（封装了各种接口的开发工具集），像调用普通本地方法一样简单

数据库

数据库是应用重要的组成部分，不过在开发中，搭建数据库、设计库表、调试、运维，需要投入大量的精力和时间

云开发平台，提供了高可用的 NOSql 数据库，不仅无需搭建，还会自动扩容，将复杂的权限管理，简化为适应不同场景的简单配置

数据以 JSON 格式存储，便于理解，而且省去了数据格式来回转换的麻烦

配合数据库实例组件，可以实现业务上的各种操作方式

文件存储

一般来说上传文件、照片等，需要文件存储的支持，传统做法是在服务器上指定存储位置，设置读写权限，如需要加速访问，还需要另购和调试 CDN 服务，极富挑战性

在云开发平台上，使用上传组件，可以轻松地将文件上传至云存储，并且自动支持 CDN 加速

和数据库权限类似，也将访问权限简化为适应不同应用场景的简单配置

免费

对个人开发者来说，应用上面提到的各种特性的云服务资源，是免费的！

免费资源配置

5G 存储空间，5G CDN 月流量、2G 数据库容量、以及 1G 的出网流量，对普通的小程序应用来说，足够了

如果开发的小程序应用得到了市场认可，用户量上来了，可以方便地切换到按量付费模式，实现更强大的弹性计算能力，以支撑业务的增长

腾讯的野心

腾讯为什么要提供这么强大的平台和机会呢？难不成是在做慈善？

链接每个人

微信从 2011 年 1 月 21 日正式发布以来，到现在月活用户已超 12 亿，几乎链接了 “所有人”，已然形成了微信互联网

微信不再只是一个熟人间免费发消息的应用了。甚至，连互联网圈、投资圈里的人经常用来描述微信的那个词 —— 操作系统 —— 也彻底不够用了 微信干脆是个完整的互联网 —— 所有人都在上面的移动互联网 —— 也就是说，先是互联网吞噬了整个世界，而后，微信吞噬了互联网……

——《微信互联网平民创业》李笑来

链接每个系统

如果说微信完成了将人链接起来的使命，那么小程序云开发，就是要将所有应用链接起来，哪怕这个应用只是在你的想象当中

  • 微信构筑了一个巨大的用户网，解决了传统系统构建中的注册、管理、单点登录等问题

  • 云平台提供各种接口，同时提供多种数据导出备份机制，可以轻松的和其他系统关联

  • 统一规格的 UI 组件，应有尽有，满足各种场景的展现和交互

  • 降低开发门槛，提供免费开发资源

这些特性，是为了让更多的人参与到应用开发中来，特别是对那些有想法而没有能力付诸实践的人，利用云开发平台，即可轻松实现

何去何从

微信云开发的出现，只是一个开始，未来程序开发会变得更简单，功能更强大

原本用来安身立命的技术本领用不上了；

学习的个各种新技能知识过时了；

想作为资深程序员宣扬下编码技巧，开发无代码化了……

什么才是重要的？又该如何应对呢？

基础知识更重要

微信云开发，虽然简化了开发过程，让后台（指服务器端）变得不太重要，但所有的技术都是以互联网为基础，依赖于最基本的 Http 协议和基本的编程规范

也就是说，云开发会尽可能多地替代了纯技术，以及可以被自动化的部分，并且这个趋势会不大增大增快，会有更多的云厂商提供更好的自动化技术

而需要程序员做使用基础的编程技能做更多实现更多的业务逻辑

也就是，集中精力学习基础的编程逻辑，了解基本的计算机、网络知识更重要

例如，前端框架工具层出不穷，但都基于基本的 Html、CSS、和 JS 构建

例如，前端模块打包工具 Webpack，很好用，但学习成本高，很快被更为简单易用的 Taro 框架融合，屏蔽了 Webpack 在使用层面的复杂性

强化探索性学习

互联网的快速发展，促生了无数的技术，涉及到互联网技术的方方面面

面对爆炸式的技术增长，不可能面面俱到，学习所有的知识，哪怕是一个方向，不断地迭代也会使我们应接不暇

不禁有人喊出 “老子学不动了” 的呐喊：

老子学不动了

那么应该如何去学呢？大概有几点建议

  • 加强基础知识的学习
  • 广泛地了解技术动态，了解当前的热门和当下正在解决的问题
  • 将新的技术与基础知识相关联，或者用基础知识对技术进行分类
  • 探索性的学习，不用从头到尾看，而是带着问题去了解，比如新框架的鉴权如何实现等

业务和想法更重要

机械化的编程，会越来越多地被机器替代，细节的基础架构，会快速地被简单易用的工具、框架完成

而具体的业务以及我们的想象力，不会被替代

既然有更多的技术支持，更低的开发门槛，我们就更容易地实现原本不容易，甚至不可能实现的的想法

现在不用担心实现问题，不用为搭建平台消耗精力，就会有更多的时间用于思考业务，和解决真正的问题

而业务知识和想象力是机器不具备的，也是无法被代替的，面对技术的发展，如何设计一个产品，去解决一个实际问题，变得更加重要了

想象以下，如果没有计算机技术的发展，我们每个人都离用计算机解决问题很远，那些只能是前沿科学家们才能做的事情

而如今，三两天就可以做出一个使用量超过 600 万的 群登记助手 小程序

总结

腾讯云开发其实不是程序员的克星，更像是一个称职的管家，是一个贴身的保镖，为我们节省了大量的非业务相关时间，为我们加强了系统平台的稳定性，提高了系统的计算性能，让我们可以全心全意学习核心知识、研究业务实质、构建优秀产品

因此，祝愿如虎添翼的你，早日构筑出自己的应用帝国，比心！

参考

阅读全文 »

发表于 | 分类于

得益于移动互联网的蓬勃发展，自媒体日益火爆的同时其门槛也越来越低，可以说是全民自媒体。其中内容创作平台尤为火爆，比如微信公众号、微博、知乎、头条等。随之而来的就是各种「奇葩」需求，比如将长链接转换为短链接务。

阅读全文 »

发表于 | 分类于

Python 的优秀有目共睹，不过说的性能，还真比不了 Java、C、Go，有没有提升性能的技巧或方法呢？今天我们一起学习下提升 Python 性能的方式方法，那还等啥，来吧

局部变量更好

记得刚开始学习 C 语言时，对先定义再使用，感到很痛苦，经常因为声明问题编译不通

现在用 Python，变量随用随定义，爽到不行

不过我却养成了先定义在使用的习惯，例如:

1
2
3
4
5
a = None  # 可以不写
if some_condition:
    a = 10
else:
    a = 0

虽然 a = None 可以不写，但是还是习惯性的写处理做变量声明，类似 C 中的 int a;

这样的习惯，促使我在写代码之前，会先考虑如何将会用到的变量，从而，对变量的使用范围做出了严格的限定，能是局部的，绝不全局

而这个习惯提高程序的性能同时，还有其他好处

  • 局部变量查找的速度更快，因为 Python 是从代码块里，向外查找变量的，里面找不到，才会去外面找，最后才是全局变量，其他语言也一样
  • 局部变量更节省内存，当代码快被执行，代码块中声明的局部变量所占用的内存就会被释放
  • 让代码更简洁，更易懂，比如可以用局部变量为冗长的命名空间中的变量起别名，如 ls = os.linesp,后面就在可以用 ls 简洁表示 os.linesp 了

函数虽好 尽量少调

函数是个伟大的发明，将可以被重复使用的过程集中起来，方便反复调用，而且函数的出现，使递归得以实现

不过，调用函数的时间成本比一般语句高的多，这是因为，函数的调用需要计算机做更多的调度协调工作

因此，应该尽量减少调用函数，特别是在大的循环中，更要注意

下面，列出几个典型例子，在这些情况下，可以不用调用函数

  • 使用 isinstance 代替 type，因为 Python 是面向对象语言，支持对象的继承，isinstance 可以直接检测对象的基类，不会像 type 一样对对象做全面的检测，会比 isinstance 做更多的函数调用

  • 避免在循环判断中，调用函数

    1
    2
    3
    4
    5
    6
    7
    8
      # 每次循环都需要计算 a 的长度
  while i < len(a):
      statement

  # 先计算出 a 的程度，避免每次循环计算
  length = len(a)
  while i < length:
      statement
  • 如果模块 X 中有个 Y 对象或函数，那么最后这样引入 from X import Y，而不是 import X，后者每次使用 Y 时，需要通过 X.Y 的方式，比直接使用 Y 多了一次函数调用

映射优于判断

在《编程珠玑 第二版》 第一章开篇中，描述了一个需求，需要对记录了一千多万行 7 位数据的文件中的数据排序，而且需要在很短时间内，在只使用 1M 内存的条件下完成

对于使用着现代计算机的我们来说，简直不可思议

一方面，现在的计算机动辄好几 G，几核，性能超强

另一方面，随便一个编程语言都有内置的高效排序算法

但在当时，计算机最大内存才不过几兆（M）！

你可能不会相信，就在当时的条件下，能在数十秒内完成吧

核心原理就是借用索引，来表示数值，比如 1000 是否存在，就看数组中索引为 1000 的值是否为 1，不存在则为 0，最后只需要便利一遍数组（书上实际应该的是字符串，一个字节索引表示一个数字），就能得到数据排序了

显而易见，相比判断，索引效率更高

例如，应该尽量避免第一种写法，而用第二种：

1
2
3
4
5
6
7
8
9
10
# 判断并赋值
if a == 1:
    b = 10
elif a == 2:
    b = 20
...

# 利用索引，直接存值，性能更好
d = {1:10,2:20,...}
b = d[a]

迭代器的性能更优

Python 中有很多迭代器，方便我们做各种循环

对于可以支持迭代器的对象，使用迭代器获取元素，比用索引获取元素的效率更高

例如：

1
2
3
4
5
6
7
a = [1, 2, 3]

for i in range(len(a)):  # 使用索引获取元素
    print(a[i])

for item in a:  # 使用迭代器获取元素
    print(item)

上面代码中，直接使用迭代器的效率更高

如果最开始接触的语言是 Python，应该比较习惯直接使用迭代器，如果从其他语言转过来，可能更习惯使用索引

另外，如果需要在循环中得到每个元素的索引，可以通过一个索引计数器来实现：

1
2
3
4
5
a = ['a', 'b', 'c']
index = 0  # 初始化索引
for item in a:
    print(index, item)
    index += 1  # 递增索引值

延迟享受是美德

曾经有个著名的心理学实验 —— 棉花糖实验，测试一群小孩子的延迟满足能力，最终的结论是：延迟满足能力强的孩子，未来成功的机率更高

这虽然是对人的测试，但对计算机也适用，不过，背后的逻辑有些不同

对计算机而言，没必要将还用不到的内容加载到内存里，内存就好比我们的工作太，如果放了太的的东西，查找就比较困难，从而影响工作效率

Python 中提供多种延迟加载的功能，其中生成器是个典型的应用

以 list 容器为例，在使用该容器迭代一组数据时，必须事先将所有数据存储到容器中，才能开始迭代

而 生成器 却不同，它可以实现在迭代的同时生成元素，也就是不是一次性生成所元素，只有在使用时才会生成

下面是个数字 生成器 的例子

1
2
3
4
5
6
7
8
9
def initNum():
    for i in range(10):
        yield i

gen = initNum()  # 得到生成器

for item in gen: # 遍历生成器
    print(item)

调用 initNum 会返回一个生成器，在 for 循环中，或者调用 next（等同于 gen.__next__()) 时才会生成下一个数字，在调用之前，不会生成所有的数据

生成器 占用的资源更少，意味着效率更高

先编译再调用

网络上有很多描述产品经理和研发直接矛盾的段子，让人啼笑皆非

最主要的原因是，需求的不确定性和研发需要的确定性是相互矛盾的

面对不到变动的需求，研发需要不断调整，因此效率不会高

相同的道理，计算机执行已经编译好的程序，比执行边解析边执行的程序效率高很多

例如，C 的程序运行效率会更高，因为需要对 C 代码，编译后才能运行

我们在享受 Python 这类动态语言带来的便利性同时，尽量让程序执行已经编译好的代码，以便提升性能

例如：

1
2
3
4
5
6
code = "for i in range(3):\n\tprint(i)"

exec(code)  # 直接执行

c = compile(code, "", "exec")
exec(c)  # 编译后再执行

更常见的是正则表达式

1
2
3
4
line = "name\t\tage\tschool"

reObj = re.compile("\t+")  # 编译
reObj.split(line)  # 使用编译后的性能更好

编译后不仅性能更好，而且在可以反复使用时，进一步提供效率

模块化

我们人类在不断理解这个世界的同时，产生了大量的信息和知识，一直无论哪个人，究其一生也无法掌握所有的知识

于是科学发展为分科之学，将知识分门别类，以便不同的人掌握了解他所关注的一点

知识是这样，我们的合作也是如此，没有一个可以做所有的事情，需要多人相互配合，各负其责

计算机是我们大脑的延伸，是用我们的思考方式、思维习惯制造的

面对大规模代码时，需要对代码进行分门别类，着不仅方便我们人类查看，还能提升程序执行效率，可以在需要时，才去加载和执行模块和方法

例如：

1
2
3
4
5
6
7
8
# module1.py

def fun(alist):
    for item in alist:
        do some thing
# 测试用
a = [1, 2, 3]
fun(a)

定义了函数 fun，之后测试了下，如果其他代码引用了 fun: from module1 import fun

这测试用的代码就会被执行

好的方式是，将测试用代码封装起来:

1
2
3
4
5
6
7
8
9
10
# module1.py

def fun(alist):
    for item in alist:
        do some thing

if __name__ == "__main__":
    # 测试用
    a = [1, 2, 3]
    fun(a)

这样就可以避免测试用代码的无意义执行，从而提升运行效率

总结

虽然现在的计算机性能很强，编程语言提高的功能很多，为我们提高了极大的便利，但是良好的编程习惯和编码规范仍然是很重要的，首先代码更多的时候是写给人看的，另外在强的计算机性能，也解决不了思维懒惰者的低效代码，就好比 你永远叫不醒一个装睡的人 一样。

业精于勤，在日常的工作和编程中，多学多练多思考，会使编程水平的提升事半功倍，看似不起眼的小技巧，处处做好了，将带来巨大的差异，这就是与高手直接的差距

期望今天分享的一点小技巧能给您一丝启发，让您在通往高手的道路上更加顺畅，比心！

参考

阅读全文 »

发表于 | 分类于

最近小编的娱乐公众号被《演员请就位2》刷屏了，这部综艺的从开播开始导演的热搜话题就一直不断，我们用 Python 分析一下这部综艺的视频弹幕看看大家都在吐糟些什么。

弹幕抓取

在腾讯视频打开最新的第 8 期的上下两期，在 Network 面板中搜索【danmu】，找到弹幕的链接 （https://mfm.video.qq.com/danmu?otype=json….）

分析其中的请求参数可以发现只有 timestamp 参数在以每次 30 的数字递增，盲猜一波应该是视频每 30 秒获取一次弹幕包，其他的请求参数可以保持不变

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
import csv
import requests
import json
import time
from pathlib import Path

def danmu():
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.80 Safari/537.36'
    }
    # 弹幕链接，视频长度（秒）
    urls = [['https://mfm.video.qq.com/danmu?otype=json&callback=&target_id=6208914107%26vid%3Do0035t7199o&session_key=63761%2C673%2C1606144955&timestamp={}&_=1606144949402', 7478],
            ['https://mfm.video.qq.com/danmu?otype=json&callback=&target_id=6208234802%26vid%3Da00352eyo25&session_key=111028%2C1191%2C1606200649&timestamp={}&_=1606200643186', 8610]]

    for url in urls:
        for page in range(15, url[1], 30):
            u = url[0].format(page)
            html = requests.get(u, headers=headers)
            result = json.loads(html.text, strict=False)
            time.sleep(1)
            danmu_list = []
            # 遍历获取目标字段
            for i in result['comments']:
                content = i['content']  # 弹幕内容
                danmu_list.append([content])
                print(content)
            csv_write(danmu_list)

def csv_write(tablelist):
    tableheader = ['弹幕内容']
    csv_file = Path('danmu.csv')
    not_file = not csv_file.is_file()
    with open('danmu.csv', 'a', newline='', errors='ignore') as f:
        writer = csv.writer(f)
        if not_file:
            writer.writerow(tableheader)
        for row in tablelist:
            writer.writerow(row)

抓到了 7W+ 的弹幕，文件为 3M 大小

情感分析

抓取到弹幕后，用腾讯云的情感分析 API 分析弹幕的情感倾向是正面的还是负面的亦或是中性情感

参考腾讯云 https://cloud.tencent.com/document/sdk/Python 页面获取 SecretId 和 SecretKey 安全凭证，用 pip install tencentcloud-sdk-python 安装腾讯云的 SDK，遇到证书错误时用 sudo "/Applications/Python 3.6/Install Certificates.command" 命令安装证书

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
from tencentcloud.common import credential
from tencentcloud.common.profile.client_profile import ClientProfile
from tencentcloud.common.profile.http_profile import HttpProfile
from tencentcloud.common.exception.tencent_cloud_sdk_exception import TencentCloudSDKException
from tencentcloud.nlp.v20190408 import nlp_client, models

import ssl
ssl._create_default_https_context=ssl._create_unverified_context

def nlp(text):
    try:
        cred = credential.Credential("xxx", "xxx")
        httpProfile = HttpProfile()
        httpProfile.endpoint = "nlp.tencentcloudapi.com"

        clientProfile = ClientProfile()
        clientProfile.httpProfile = httpProfile
        client = nlp_client.NlpClient(cred, "ap-guangzhou", clientProfile)

        req = models.SentimentAnalysisRequest()
        params = {
            "Text": text,
            "Mode": "3class"
        }
        req.from_json_string(json.dumps(params))

        resp = client.SentimentAnalysis(req)
        sentiment = {'positive': '正面', 'negative': '负面', 'neutral': '中性'}
        return sentiment[resp.Sentiment]
    except TencentCloudSDKException as err:
        print(err)

示例结果

导演好感度

对于频频上热搜的导演们观众对他们的感官是怎么样的，将情感分析结果转换成大家对各个导演评价的百分比，并用 pyecharts 制作成图表

弹幕中对赵薇的负面评价达到 30%，尔冬升、赵薇、郭敬明的正面评价都差不多在 46% 左右，主持人大鹏的正面评价居然是最高的，达到 59%，赵薇的弹幕量最多、陈凯歌弹幕数量是第二个，尔冬升的弹幕量不到 2000

弹幕词云

将弹幕词云化，看看大家都在吐槽写什么

第一眼就看到了的秋裤两个字

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
def ciyun():
    with open('danmu.csv') as f:
        with open('ciyun.txt', 'a') as ciyun_file:
            csv_reader = csv.reader(f)
            for row in csv_reader:
                ciyun_file.write(row[0])

    # 构建并配置词云对象w
    w = wordcloud.WordCloud(width=1000,
                            height=700,
                            background_color='white',
                            font_path="/System/Library/fonts/PingFang.ttc",
                            collocations=False,
                            stopwords={'的', '了','啊','我','很','是','好','这','都','不'})

    
    f = open('ciyun.txt', encoding='utf-8')
    txt = f.read()
    txtlist = jieba.lcut(txt)
    result = " ".join(txtlist)
    
    w.generate(result)

    w.to_file('演员请就位2.png')

总结

腾讯视频弹幕的抓取比较简单，每隔 30 秒发送一次请求获取弹幕包。有兴趣的朋友可以尝试其他视频网站的弹幕抓取，一起努力进步天天向上

示例代码：《演员请就位2》弹幕的情感倾向分析

阅读全文 »

发表于 | 分类于

工具 | 专治不会Google病

日常，我们总会遇到有人在各种群、论坛、社区之类的地方问一些简单问题，可能只需要一次简单的百度、Google就可以解决，但还总是层出不穷地有人问。

当然阿酱倒也不会很反感这样的同学，毕竟阿酱也深知很多时候大佬一句话就能讲清的东西，搜索肯定没有直接发问的效率高。

当然这主要是因为阿酱并不是什么大佬，所以如果遇上这类问题，有时间也愿意解答一下；但是试想，一个大佬每天很可能会面对无数咨询的人，如果总是遇上一些简单并且不知道被反复问过几次的问题，属实很让人崩溃啊。

阅读全文 »

发表于 | 分类于

标题图

最近在新能源车界里，五菱宏光 MINI EV 连续三个月销量都大大超过了特斯拉，让我开始对这车有点兴趣（其实是没钱~），于是最近我就跑去试驾了一下，同时我还顺便试驾了下传说中国产新能源的二线品牌，哪吒 N01 和零跑 T03，还有个上汽荣威科莱威，这几款车都是3-7万的价格，接下来我就谈谈自己的试驾感受（先声明本人非专业车评，这里只是说说试驾后的体验，仅供参考）。

阅读全文 »

发表于 | 分类于

哪些 Python 库让你相见恨晚？可能有些人见过这个问题，其实这就是知乎上的一个提问，问题链接为：https://www.zhihu.com/question/24590883，相见恨晚意思是遗憾相识太晚，也就是哪些 Python 让你遗憾相识太晚？这个问题对每个人及每个人的不同阶段可能都会有所不同，所以大家也不用纠结于别人与自己看法是否相同的问题，本文选取自己之前回答中几个有特点的库向大家介绍一下。

阅读全文 »

发表于 | 分类于

上篇文章 一份代码帮我赚了10万 中，小酱承诺如果大家点赞数超过30个，我会继续分享如何利用个股研报数据来进行分析。小酱是个信守承诺的小伙子，既然答应了大家，就一定会做到的。

我们要利用个股研报数据，肯定是会结合个股行情数据的，所以首先要获取股票数据，本篇我跟大家分享一下我是如何获取个股行情数据的。

阅读全文 »