接手一个 Scrapy 项目,前任说代理已经配好了,可成功率跟没配一样。我打开日志一看,一个代理请求都没有,全是从本机IP直连出去的。改完中间件顺序,又踩了重试的坑,折腾了两天才算稳定下来。把过程记一下,省得下次再翻。
先确认代理到底有没有被用上
最快的办法不是看代码,是看出口IP。在中间件里打印 request.meta.get("proxy"),再请求一个会返回访问者IP的中立接口。如果日志里有代理地址、出口IP还是本机,说明代理没生效;两个都对,才说明链路通了。
我见过不少“代理不稳定”的反馈,最后查出来是请求压根没走代理,只是目标站偶尔慢,看起来像IP的问题。
第一个坑:中间件顺序,数字小的先执行
DOWNLOADER_MIDDLEWARES 是按数值从小到大执行的,默认的 RetryMiddleware 是 550,RedirectMiddleware 是 600。我把代理中间件随手写了个 800,结果每次请求都是先经过重试、再设置代理,重试时拿到的是没代理的 request,表现就是“配了等于没配”。
把它调到 400 左右(在 Retry 之前),代理才会在每次请求前设好。这个顺序问题不会报错,只会安静地失效,最难查。
第二个坑:重试复制的是原 request
Scrapy 重试时是拿原 request 复制一份再发,meta 里的 proxy 也会一起复制过去。如果代理只在 Spider 的 start_requests 里设置一次,重试还是那个旧IP,哪怕它已经被封了或者已经过期。
短效IP这个问题更明显:取的时候还有三分钟,排到重试队列时已经失效了。所以我现在都在 process_request 里每个请求现取,或者在重试前把 meta 里的 proxy 清掉重新取。
第三个坑:200 加验证码页,骗过了重试机制
默认的 retry_http_codes 主要是 500、502、503、504、408、429 这些。目标站返回 200、内容却是“访问过于频繁”或者验证码页时,Scrapy 认为这次请求成功了,后面的解析全部为空,日志里成功率好看得很,数据一条没有。
我的做法是加一条内容判断:状态码 200,但正文命中“验证码”“访问频繁”“请稍后”这类词,就当成失败,换IP重试。这一步不做,前面代理配得再对也白搭。
我现在用的写法
配置里把顺序定死,中间件里每请求取IP、异常时换IP回炉:
DOWNLOADER_MIDDLEWARES = {
"myproject.middlewares.ProxyMiddleware": 400, # 必须在 RetryMiddleware(550) 之前
"scrapy.downloadermiddlewares.retry.RetryMiddleware": 550,
}
class ProxyMiddleware:
def process_request(self, request, spider):
proxy = pool.get() # 每个请求现取,避免重试用旧IP
request.meta["proxy"] = proxy
request.meta["proxy_used"] = proxy
def process_exception(self, request, exception, spider):
if isinstance(exception, (ConnectTimeout, ProxyError)):
pool.report_fail(request.meta.get("proxy_used"))
request.meta.pop("proxy", None)
return request.replace(dont_filter=True)
这段不是万能模板,但思路是通用的:代理放在重试之前设置、失败时把旧代理从 meta 里删掉再回炉、每次回炉重新取。
怎么验证真的生效了
- 看日志里的 proxy 字段,确认每请求都有值。
- 请求中立接口,确认出口IP和代理池里的一致。
- 按IP统计请求数和失败率,找出“总失败”的那几个节点。
- 把“200 但没解析出数据”的请求单独记一份,这部分最容易被忽略。
顺带提一句并发
中间件配好之后,先把 CONCURRENT_REQUESTS 降下来跑一轮,确认单个IP的失败率,再慢慢往上加。代理服务商一般有并发或频率限制,本地把并发拉满,看起来是代理不稳定,实际是自己把池子打爆了。在次提醒一句:重试也算并发,别只算首轮。
我现在用的是星月代理,池子覆盖全国300多个城市,可用率标在90%以上,高匿,短效IP自动轮换,API实时提取、白名单、会话保持都支持,后台能看到每条订单的提取记录和用量。新用户可以先领免费试用IP,把中间件和重试按上面的顺序理顺,再决定买哪种套餐——毕竟代理配的很随意的时候,再好的池子也跑不出效果。
Scrapy 里换IP不生效,先查中间件顺序,再查重试有没有带旧IP,最后查“200 但内容不对”的情况有没有被当成成功。这三步走完,大部分问题都能定位。
Scrapy 换IP不生效,多半不是代理的问题:中间件数值顺序、重试复制的旧 proxy、以及 200 加验证码页骗过重试,这三处查完基本就能定位。