用多线程爬一些网站,当线程数开得很高的时候,相当于爬了多少次网站,就需要请求多少次自己的代理接口……所以能不能一次返回多个代理,然后我爬虫端判断是否用完,然后再次获取。
用多线程爬一些网站,当线程数开得很高的时候,相当于爬了多少次网站,就需要请求多少次自己的代理接口……所以能不能一次返回多个代理,然后我爬虫端判断是否用完,然后再次获取。