有段时间我在公司内网的一台服务器上跑爬虫，图的是机器稳定、带宽够用。结果一开跑就发现问题：内网出口有防火墙和策略，直接访问外网不行，得把代理通路先配通。中间折腾了不少，后来摸清了内网爬虫配代理的几个关键点，写出来给遇到同样情况的人。
先搞清楚内网是怎么出去的
内网环境第一件事不是急着配代理，而是先弄明白网络怎么走。有的公司有统一的上网代理，有的只放行特定端口，有的干脆不让直连外网。
我当时先问了下运维，确认内网机器能不能直接出公网、有没有统一代理、需要走哪些端口。这一步没弄清楚，后面配了也白配。
爬虫的代理配置要全局生效
确认能通过代理出去之后，就是让爬虫程序真正走这个代理。这里最容易踩的坑是漏配：有的库默认不用环境变量里的代理，得自己在代码里传。
我当时的做法是，在爬虫框架的统一入口把代理配上，不管后续请求走哪个模块，都从这一个出口出去。配完之后先用返回IP的接口测一下，确认出口IP是代理的，而不是内网本机IP。
账号密码认证和白名单别漏
内网爬虫用的代理，很多是带认证的，需要账号密码。写代理地址时要把认证信息带上，我第一次只填了IP端口，结果一直返回认证失败。
另外，如果用商用代理，记得把内网对外出口的公网IP加进白名单，不然代理侧会拒绝你的请求。这个和"本机IP"容易搞混——内网机器显示的是内网地址，但真正对外的出口是网关的公网IP。
防火墙和DNS也可能是拦路虎
配好代理后还遇到过"内网互访正常、外网就是不通"的情况，最后发现是防火墙没放行对应端口，或者DNS解析有问题。
排查顺序可以这样：先看内网机器之间通不通，再看能不能解析域名，最后测代理端口通不通。别一上来就怀疑代理服务，很多时候卡在本地网络这一层。
我现在内网爬虫怎么配
现在我在内网跑爬虫，代理统一走星月代理的API提取，把内网出口公网IP加进白名单，再在代码入口统一设置代理，短效IP自动轮换，不用频繁改配置。它家IP池覆盖全国300多个城市，可用率标的90%以上，内网环境下也稳。新用户先领免费试用IP，配合返回IP接口测一遍通路，确认代理真的生效，再正式跑。
内网爬虫配代理，难点不在代码，而在把"网络出口、认证、白名单、防火墙"这几层都理顺。先把环境搞清楚，再配代理，能少走很多弯路。
公司内网跑爬虫，先把出口策略搞清楚，再让代理全局生效；认证、白名单、防火墙端口、DNS都要排查到位。配完后用返回IP接口验证出口，确认真的走代理而不是本机直连。