Scrapy从入门到弃坑(5):分布式爬虫实现
· ☕ 6 min read
0x00 需求分析 虽然基于Scrapy框架,我们可以轻易实现异步的、高并发的爬虫,但是,无论如何高并发,计算机的带宽永远是恒定的,协程设计的再巧妙也

ubuntu升级Python及pip
· ☕ 4 min read
近日,笔者因为需要用到aiohttp异步处理库,而需要对服务器的Python版本做一个升级。本以为是很简单的一个事情,没想到这个升级还真不是

2018年年终总结:进步挺多,遗憾更不少
· ☕ 3 min read
2018年转瞬即逝,在这一年内我对自己的总结是:进步挺多,遗憾更不少 首先总结一下自己一年以来的进步: 在基础学科方面,在11月的选考成功通过技

Scrapy从入门到弃坑(2):Item Pipelines高级用法
· ☕ 4 min read
在上一节中,我们通过一个框架爬虫获取到了交易猫上我们所需的商品链接,但是游戏账号重要的是账号里的截图啊,毕竟“无图无真相”嘛。Scrapy提

SSH反向稳定隧道的搭建
· ☕ 2 min read
相信各位小伙伴常常需要在外网通过某些代理访问内网进行某些任务的需求,such as在外面访问校园网,在外地要用企业内网做工作,甚至做tiao b

Python3调用百度API实现OCR识别
· ☕ 3 min read
随着人工智能技术的发展,光学字符识别技术(OCR)也越来越成熟,识别的准确度也越来越高。近日,看到群里诸位巨佬通过人工智能、机器学习等高逼格