对爬虫来说,当访问频率达到了目标网站的预警值时,就有可能会触发目标网站的反爬机制。上篇文章中,企通查为大家介绍了几种常见的反爬虫策略思路,封禁访问者IP就是其中一种很常见的反爬机制。
爬虫几乎所有的数据都能够伪造,但唯有一项却不能造假,那就是IP地址。因此很多网站为了防爬虫,会制定一系列规则去封杀IP,对每个IP做频次控制,当IP地址被封禁后,IP发出的请求就将不能得到正确的响应,这个办法虽简单粗暴,却又十分有效。
因此从另一角度来说,我们有理由可以认为,突破反爬虫机制的重要举措之一就是能够拥有一群庞大稳定的IP——即所谓的代理IP池,这将会在爬虫工作中起到重要的作用。
做网络数据采集时,爬虫需要通过代理IP来掩护自身才能顺利爬取目标数据,而爬虫所需要的IP数量往往是以万为单位来计算的,基于对IP的庞大需求量,这时就该代理上场了。
所谓代理就是介于用户与网站之间的第三者:
用户先将请求发到给代理,然后代理再发到服务器,这样看起来就像是代理在访问那个网站了,服务器会将这次访问算到代理头上。
如果同时用多个代理的话,单个IP的访问量就降下去了,从某种意义上来说是突破了次数的限制,于是单个IP就有可能逃过一劫,进而促使爬虫能更高效地工作。
代理IP也是分类的,最常用的代理IP类型有SOCKS代理、HTTPS代理、HTTP代理等,按时效可分长效和短效。在行业法规允许范围内,长效代理IP可以进行一些例如搜索资料数据以方便了解行业数据的爬取任务。短效的则可以完成一些诸如注册、页面浏览之类的工作。

