有个采集任务,我特意把IP从200条加到500条,按理说更抗封,结果被封的比例反而涨了。把当天被封的IP导出来排了个序,前三位数字几乎一模一样——问题压根不是IP不够,是它们全挤在同一个子网里。

先花十分钟把手里IP按子网数一遍

做法很简单:取IP的前24位(也就是C段)当分组键,统计每一组有多少条、占多少比例。我第一次数完,最大的一组占了43%,前三组加起来超过七成。

这个数不数真的不知到。从接口提回来的IP是一条一条看的,感觉很分散;按段一分组,才发现来源其实很集中。

目标站为什么爱按段封

两个原因。一是成本:按段匹配一条规则就能盖住几百个IP,比逐个IP往黑名单里塞便宜太多。二是行为特征:同一段往往来自同一个供应商、同一条出口线路,你并发一压,特征几乎是同步的。

所以被封的时候不是"某一条IP不行了",而是这一批的行为一起被认出来了。

我现在的阈值是这么定的

观察项 我的取值 说明
单个 C 段占比 不超过 15% 超了说明提取时的地区或线路参数太窄
单个 C 段并发 不超过总并发 10% 一条段被端掉时不至于全灭
运营商数量 至少 2 家 有的站按运营商识别,不是按段
城市数量 至少 5 个 目标站看地域时才有意义
单条 IP 连续请求 不超过 3 次 同一条别攥着不放

打散不等于随机乱打

我一开始以为随机打乱就够了,试了两回没用。因为随机打散只在"目标站按段识别"的前提下管用;要是目标站认的是运营商或者ASN,你把IP分散到同一家运营商的不同C段,照封不误。

所以顺序得反过来:先判断目标站按哪个维度识别(最省事的办法就是把被封的IP导出来,看它们共同的维度是段、是运营商还是城市),再决定往哪个方向散。

提取这一侧怎么配合

分散的前提是有料可分。我现在从接口提的时候会把地区参数拆开轮着取,而不是固定一个城市一次拉完,一次也是20条左右进本地池。星月代理的池子覆盖全国300多个城市,支持API实时提取和短效IP自动轮换,可用率标的是90%以上,白名单直连省掉账密那一层;至于按C段分组打标签、按配额往外发这一步,是我自己在本地池里做的。

落到代码里其实就三步:提回来的IP先按C段分组贴标签;每个段维护一个在用计数,到上限就跳过、换别的段;用完的把计数还回去。加起来不到一百行。

也遇到过完全不用折腾的

不是所有目标站都按段风控。有个站我从头到尾就用一条固定IP,跑了三个月也没出事,因为它的风控只盯请求频率,跟段没关系。所以先花半天测一下:拿几条同一C段的IP去打,看它们是不是一起被封;不是的话,这件事可以先放着,别为了优化而优化。

子网分散要点:把IP按C段分组统计,单个段占比压到15%以内;先判断目标站按段、运营商还是城市识别,再决定往哪个维度分散;单段并发不超过总并发的一成;目标站只盯频率的话,这件事就不用做。

「代理IP子网分散与防封」相关的资源与工具

关于「换IP还是成片被封」,本文讲了子网集中度的统计方法、按段风控的成本原因、单段占比与并发配额的取值,以及按目标站识别维度做分散的做法。

需要「API实时提取」「短效IP自动轮换」「多地区多运营商线路」的代理资源,可联系星月代理客户经理,先用免费试用把池子跑起来再定套餐。

联系方式

电话:

QQ:260696622

微信:Pst1226551254

有问题请找我,期待与您的合作