标签：常用
Python并发爬虫常用实现方法解析
在进行单个爬虫抓取的时候，我们不可能按照一次抓取一个url的方式进行网页抓取，这样效率低，也浪费了cpu的资源。目前python上面进行并发抓取的实现方式主要有以下几种：进程，线程，协程。进程不在的讨论范围之内，一般来说，进程是用来开启多个spider，比如我们开启了4进程，同时派发4个spider进行网络抓取，每个spider同时抓取4个u……
11-20 立刻查看
Nginx常用技巧使用实例汇总
1.多个server的优先级 以每个server区块都监听80端口为例，www.itxz.com对应服务器ip地址，匹配顺序为： 1、server_name和www.itxz.com完全相同的区块。 2、server_name为 *.itxzcom 的区块。（通配符在前） 3、server_name为 pm.* 的区块。（通配符在后） 4、server_na……
11-02 立刻查看