最近在公司部署scrapy爬虫的时候遇到个问题,公司给了3个机器,每个机器10个IP,为了反爬,在爬虫请求异常时切换IP,scrapy官方文档写的非常简介,调试N久终于成功,现讲心得记录如下:
1、新建中间件HeaderMidWare.py
|
|
2、setting启用中间件,并同时设置BindAddress
最近在公司部署scrapy爬虫的时候遇到个问题,公司给了3个机器,每个机器10个IP,为了反爬,在爬虫请求异常时切换IP,scrapy官方文档写的非常简介,调试N久终于成功,现讲心得记录如下:
1、新建中间件HeaderMidWare.py
|
|
2、setting启用中间件,并同时设置BindAddress
近期评论