前阵子我从几个渠道攒了四万多条代理IP，兴冲冲拿去跑采集，结果当天成功率不到一半。日志里不是超时就是连接失败，后来才发现池子里过期IP、虚假节点、高延迟的混了一大堆。一个个测根本测不过来，最后我搭了一套过滤流程，分三步把池子清干净了。方法不复杂，记下来给有同样麻烦的人参考。
第一步：先别急着测，把明显不行的删掉
四万多条IP，如果每条都发请求测一遍，光跑完就要很久。所以我先做粗筛，把一眼就能看出来的废数据去掉。
第一件事是查格式。有些IP端口写错、缺了段、带了空格，这种用正则跑一遍就能清掉，我写了个简单的正则，把不符合"IP:端口"格式的直接丢进废列表。第二件事是去重，同一个IP重复出现了几百次，用集合去重就行，几万条数据跑下来不到一秒。第三件事是TCP握手，这是粗筛里最关键的一步，很多IP其实端口早就关了，根本连不上，用TCP连一下，连不上的直接标记为死IP。
粗筛走完，四万多条大概剩下两万出头，后面精筛的压力就小多了。
第二步：模拟真实请求，把"能连但没用"的也揪出来
能TCP握手不代表能用，有些代理连得上，但真发HTTP请求就超时，或者响应慢得离谱。所以第二步我用异步并发的方式，让每个代理去请求一个固定的测试接口，超时设得短一点。
这一步主要看三件事：能不能正常返回、响应要多久、成功率怎么样。我把每个IP的延迟和成功率都记下来，延迟太高的、连续失败的，直接删。另外还要看匿名度，有些透明代理会把真实IP带出去，这种不能留，宁可少用几个也不能埋隐患。
精筛完剩下的这批，才是真正能上手用的。我当时最后留下的大概有八千条，跑任务顺畅多了。
第三步：隔段时间再测，别一次筛完就高枕无忧
代理IP有个特点：状态变得特别快。今天能用的，明天可能就失效了，尤其短效IP，几个钟头就换一批。所以我没指望一次过滤管一个月，而是做了定时任务，每隔一段时间把池子重新巡检一遍，主要复测高并发下还稳不稳，把波动大的节点踢掉。
另外我把筛出来的IP按响应速度、地域、可用率分了几个档，跑不同任务时各取所需，比混在一起好用。失效的IP也顺手记一下原因和时间，时间长了能看出哪些来源质量差，下次少采点。
如果不想自己折腾，挑池子干净的省事很多
这套流程不复杂，但确实要花点功夫维护。如果采集任务着急、又不想养一个过滤脚本，更省事的办法是从源头解决：直接用干净点的商用代理池。我后来试了星月代理的免费试用IP，提出来基本都能用，响应速度也稳，不用再自己跑一遍粗筛精筛，省了不少事。它家IP池覆盖全国300多个城市，可用率标的90%以上，短效IP还会自动轮换，跑高频任务时换得勤，不容易被封。
到底自己过滤还是直接买干净池子，看你的量和时间。量小、有时间折腾，自己筛也行；量大、要稳定，花钱买个省心其实更划算。
批量清理代理池，我的经验是分三步：先粗筛格式、去重、TCP握手，再精筛可用性和匿名度，最后定时复测。要是嫌麻烦，直接选个池子干净的商用服务，省下的时间能多跑几轮采集。