多模态图文数据集抓取和纯文本 RAG 采集有明显区别:页面不仅要下载 HTML 文本,还需要加载图片、缩略图、视频封面、CSS、JS 等大量静态资源,单次页面访问会一次性触发数十个子请求,流量更大、请求更密集,更容易触发网站风控。代理 IP 并发上限不能直接照搬纯文本爬虫参数,要结合代理类型、站点防护等级、是否开启会话保持综合设定,不合理的并发会造成 IP 批量污染、图片下载失败、图片残缺、大量 403 与验证码,直接导致图文数据集质量下降。
首先要分清核心概念:单 IP 并发指同一个出口 IP 同时发起的并行请求数量;集群总并发是所有代理 IP 加起来的总请求数。多模态采集最容易踩坑的地方就是把单 IP 并发设置过高,图片资源批量并发请求,短时间产生爆发式流量,被风控识别为自动化抓取。
机房数据中心代理,适合低防护公开图文静态站点,一般单 IP 并发控制在 2~5。机房 IP 本身 ASN 特征明显,即使是静态图片站点,如果单 IP 并发开到 10 以上,短时间几十张图片同时拉取,很容易触发网段限流。适合百科、开放图库、公开学术配图这类低反爬数据源。如果开启会话保持,建议取偏低值 2~3;关闭会话保持、按请求轮换 IP 时,可放宽至 4~5。
动态轮换住宅代理,是多模态图文采集最常用的方案,风控容忍度更高。开启会话保持场景(JS 渲染页面、图文列表分页),单 IP 并发推荐 1~3。因为会话保持模式下,一个 IP 长时间绑定一套指纹、Cookie,要模拟真人浏览行为。真人打开网页不会一次性并行下载十几张图片,过高并发会造成请求模式异常。大多数资讯、新闻图文、社区图文站点,稳妥值为 1~2。如果页面图片数量少、站点防护一般,最多放宽到 3。关闭会话保持、请求级轮换 IP 的广度抓取场景,单 IP 并发可设置 3~5,适合大量独立静态图片资源批量拉取。
移动 4G/5G 代理信任等级最高,但带宽资源有限,成本高,仅用于少量高防护图文页面采集,单 IP 并发严格控制 1~2,不建议更高,一旦并发过高,容易出现图片超时、加载失败。
除单 IP 并发之外,还要设置单 IP 单位时间请求配额,作为第二层防护,这是多模态抓取必不可少的限制。以动态住宅代理会话任务举例,单 IP 每分钟总请求(HTML + 图片 + 静态资源)建议不超过 20~40 次,一张图文页面连带图片可能产生 10~25 次请求,折算下来,单 IP 每分钟最多处理 1~2 个完整页面。到达配额阈值后,强制释放 IP,防止 IP 被持续标记。
集群调度层面,并发上限还要和 IP 池规模匹配。假设住宅代理单 IP 稳定并发 2,IP 池可用干净 IP 数量为 N,集群最大总并发不要超过 N×2,预留 20% 冗余,避免 IP 池耗尽、复用污点 IP。同时增加 IP 健康监控,一旦某个 IP 连续出现图片下载超时、403、验证码,立刻终止会话,释放 IP 并打入黑名单,不再分配任务。
配套策略上,如果开启会话保持,遵循「1 个 worker、1 套指纹、1 个 IP」绑定原则,指纹、时区、IP 地域严格对齐,浏览器资源加载策略可以做精简,非必要资源(字体、广告脚本)可选择不加载,减少无效请求,降低并发压力。星空代理的隧道动态代理支持自定义并发与会话保持开关,可灵活适配多模态图文分层采集需求,低防护静态图文使用机房代理控制成本,高防护图文页面切换住宅代理。
合规层面,仅采集公网公开内容,遵守 robots 协议,不要抓取受版权保护图片、隐私内容,代理 IP 仅作为网络访问工具,不可用于绕过网站访问限制。
综上,多模态图文抓取并发核心原则:会话保持场景,压低单 IP 并发;静态图库广度采集可适度提高;必须同时限制单 IP 请求速率,不能只靠并发阈值。