动态短效代理(地域定向评测首选,开启会话保持):单 IP 并发 = 1。
场景:地域化 QA、多轮对话评测,一个 IP 绑定一套会话 / 指纹,连续跑同一个城市的一批测试 query。多轮对话的上下文、Cookie、地域标识都绑定 IP,同一个 IP 并行跑多个评测样本极易触发平台风控。如果是简单单轮短 query,站点防护较低,最高放宽至 2。
动态住宅代理(关闭会话保持,每次请求换 IP):单 IP 并发 2~3。适合独立无状态单轮评测 query,不涉及连续对话。
机房代理(仅低防护 API / 网页评测):单 IP 并发 2~4。机房 IP ASN 特征明显,不建议更高。
移动代理:单 IP 并发严格 1,带宽小、IP 成本高,只用于小批量基准评测。
会话保持(多轮对话、地域测试):单 IP RPM 2~6。
多轮问答一次样本会产生多次请求,包含联网检索、页面加载,要预留等待时间,推荐保守值 2~3。
无状态单轮评测,每次请求换新 IP:单 IP RPM 5~10。
注意:大模型请求响应时延波动大,不能简单固定间隔,建议采用令牌桶,而不是固定 sleep。令牌桶允许少量突发,但限制单位时间总量,比固定间隔更适合评测任务。
会话保持模式(地域 QA、多轮对话评测)
一个评测会话(一组关联 query)绑定同一个 IP,会话周期内遵守该 IP 的 RPM 限制;会话结束,释放 IP 并重置令牌桶。禁止同一个 IP 同时分配 2 组独立评测会话。
无状态模式(海量独立单 Query 批量评测)
请求结束立即释放 IP,IP 放回 IP 池,令牌桶持续计数。IP 轮询分发,每一次请求换 IP,分摊请求压力。适合大规模基准评测数据集。
连续返回 429(平台限流):该 IP 立刻停止分配任务,冷却时间翻倍;全局总并发临时下调 20%。
连续 403 / 验证码:IP 标记为污染,直接拉黑,不再复用。
请求超时增多:自动降低该 IP 的 RPM,拉长请求间隔。
成功请求恢复正常:缓慢恢复速率,不要一次性拉满。
重要:评测任务重试次数要做严格限制,最多重试 1~2 次,并且重试时要更换 IP。无限重试会瞬间击穿限流规则,短时间打爆 IP。重试间隔采用指数退避。
指标埋点:每一条评测请求记录:IP、请求时间、耗时、返回码、令牌桶剩余额度、会话 ID。方便后续定位是限流设置不合理,还是平台风控问题。
任务队列解耦:使用消息队列(如 Redis 队列)存放评测样本,限流模块作为消费端,从队列拉取任务,而不是一次性全部发起请求,防止流量洪峰。
地域评测场景:每个城市独立队列、独立 IP 池、独立限流配置,不同城市任务不混用 IP,避免跨城市信号冲突。星空代理隧道代理支持按城市分组调度,方便拆分评测任务。

