低防护普通资讯站:单 IP 保持 5–10min 轮换;
中等防护内容站点:单 IP 保持 3–5min 轮换;
高风控、反爬强站点:缩短至 1–3min。
低防护站点:单 IP 20~50 次请求轮换;
中等防护站点:单 IP 5~20 次请求轮换;
高防护站点:单 IP 1~5 次请求即切换。
重点:会话保持开关。
采集静态公开文本、多页面无登录、无 Cookie 关联:关闭会话保持,每次换 IP 重置 Cookie 与指纹;
同站点连续翻页采集(同一篇文档多页、列表分页):开启会话保持,本次会话内不换 IP,会话结束后再轮换 IP。
很多 AI 爬虫踩坑点:同一文档分页抓取时频繁换 IP,Cookie 与 IP 不匹配,直接被判定为异常。
全局总并发:控制总请求 QPS,不要短时间爆发流量。AI 爬虫因为有页面解析、多模态加载,请求间隔建议增加随机抖动,0.8~3s随机间隔,避免固定时间间隔的机器特征。
单 IP 并发限制:动态住宅代理建议单 IP 并发 = 1,尽量不要单 IP 并行多个请求。住宅宽带账号的真实用户几乎不会多并发访问,多并发极易触发风控。
黑名单自动回收机制:
响应码监控:403、429、503 标记 IP 为疑似污染;连续多次失败直接打入黑名单,暂停分配;
冷却机制:临时受限 IP 不永久丢弃,设置冷却时间(10~60 分钟),冷却后重新预检,合格再放回可用池。
每次 IP 轮换同步更新:User-Agent、请求头、Cookie 缓存清除;
开启随机请求间隔,增加抖动,杜绝固定频率请求;
禁止 DNS 泄漏,DNS 跟随代理出口,保持地域信号统一;
多模态图文采集场景,图片 / 媒体请求复用当前会话 IP,不要图片和网页使用不同 IP。
低风险公开资讯、百科类网页
策略:计数轮换,单 IP 30~50 请求轮换,会话内固定 IP,单 IP 并发 = 1,请求间隔 0.5~2s
中等防护内容网站,RAG 知识库采集
策略:计数 + 时间双触发,单 IP 10~20 请求或 5 分钟轮换,分页任务保持会话,随机延时 1~3s
高反爬站点、多模态图文采集
策略:每次 1~3 次请求就轮换 IP,会话不跨 IP,拉长随机间隔 2~5s,IP 池充足扩容,失败 IP 快速熔断下线
不要无限高频秒切 IP:一秒一换 IP 是极强机器特征,比固定 IP 更容易被拦截;
轮换逻辑要有随机扰动,不要严格固定 N 次请求必切换,增加 ±1~3 次随机偏移;
采集公开资料也要遵守网站 robots 协议,不侵犯版权,控制请求强度,避免对目标站点造成压力。

