构建 RAG 知识库的网页采集，核心目标是稳定获取网页原文、文档、资讯等知识素材，和 AI Agent 交互式操作不一样。RAG 采集是否开启代理 IP 会话保持（粘性会话，sticky session），不能一刀切，要根据目标网站特性来动态选择。会话保持的含义是：同一个采集任务全程使用同一个出口 IP，任务结束或超时后再释放 IP；关闭会话保持则是每一次网页请求自动更换新 IP。两种模式各有适用场景，选错会直接出现 403 拦截、页面残缺、Cookie 失效，造成 RAG 知识库内容缺失。
当采集带有分页列表、动态 JS 渲染、依赖 Cookie 维持访问状态的网站时，强烈开启会话保持。很多资讯站、文档平台、社区内容站，在翻页浏览时会生成临时会话凭证，绑定 IP 与 Cookie。如果翻页的瞬间 IP 发生切换，网站会判定会话异常，直接抛出验证码或者拒绝访问，出现只抓到列表标题、正文内容空白的情况，破坏 RAG 文档完整性。尤其使用无头浏览器采集动态页面时，浏览器指纹、本地缓存、Cookie 是成套绑定的，同一个浏览器实例频繁更换 IP，会出现 IP 地域和浏览器时区、语言不匹配的矛盾，风控系统极易识别为自动化程序。针对单个域名批量抓取多篇文章时，保持 IP 不变，访问行为更贴近普通人浏览习惯，网站的访问容忍度更高。会话时长建议设置在 60 至 300 秒，或者限定单个 IP 最多抓取一定数量页面就强制释放，避免长时间持续访问导致 IP 被标记污染。
如果采集的是独立无关联的静态公开网页，例如开放学术文档、静态百科页面，页面之间不存在会话、Cookie 关联，可以关闭会话保持，采用按请求轮换 IP。这类页面没有分页校验，每一次请求都是独立资源，每次请求更换 IP 能够分散访问压力，避免单个 IP 短时间请求过多被封禁，适合大规模、高并发批量拉取素材，控制采集成本。大量互不相关域名的广度采集场景，同样适合每次请求轮换 IP，打散访问足迹。
这里有一个非常关键的工程避坑点：浏览器指纹、Cookie 缓存必须和 IP 绑定隔离。同一个浏览器实例不能一边复用同一套指纹，一边频繁切换 IP。指纹不变、IP 来回跳转，是 RAG 采集集群批量封 IP 最常见的原因。在集群调度上，遵循一个简单绑定规则：一个爬虫 worker、一套浏览器指纹、一个 IP，三者一一配对；会话结束后，指纹和 Cookie 一同清空，IP 释放回 IP 池。
结合代理 IP 选型做搭配：低防护静态网页，选用机房动态代理，关闭会话保持，适合低成本大批量抓取；资讯、动态渲染文档这类 RAG 高频数据源，优先使用动态住宅代理，开启会话保持；高防护媒体站点，采用动态住宅代理搭配短会话策略，单 IP 设置访问上限，触发阈值自动释放 IP。星空代理的隧道动态代理可灵活支持会话保持开关，适配 RAG 不同采集任务的调度需求。
同时要配套 IP 健康监控，一旦 IP 连续返回 403 或者触发验证码，立刻终止会话，将 IP 拉入黑名单不再复用。无论是否开启会话保持，都需要做好访问限速，不能无节制并发请求。
合规层面，网页采集仅能获取公网公开可访问内容，遵守网站 robots 协议，不抓取受版权保护、隐私、付费内容，代理 IP 仅作为网络访问工具，不能用来绕过网站访问限制。
总结来说，RAG 网页采集策略：单站点分页、JS 动态渲染页面，开启会话保持；独立静态页面、跨大量无关域名批量抓取，关闭会话保持，使用请求级 IP 轮换。采用分层调度，两种模式混合使用，才能在采集稳定性和成本之间找到平衡，保障 RAG 知识库素材完整、持续采集。
赣公网安备 36072102000145号
