python scrapy爬虫防止ip被封的实现方案

主要策略:动态设置user agent禁用cookies设置延迟下载使用google cache使用IP地址池(Tor Project、VPN和代理IP)使用Crawlera1、创建middlewares.py  scrapy代理IP、user agent的切换都是通过DOWNLOADER_MIDDLEWARES进行控制,下面我们创建middlewares.py文件。import randomimport base64from Questions.settings import PROXIESc