整理关于HTTP代理IP的认知误区

参考资料

正文内容

《整理关于HTTP代理IP的认知误区》是一篇值得学习的技术文章，感觉很有用处，改了一下错误代码，希望大家能有所收获。

HTTP代理IP是什么？一般而言，就是换IP。

大多数人都知道，在使用爬虫多次爬同一个网站时，往往会被网站的IP反爬虫机制所禁止，为了解决IP封禁问题，通常会使用代理IP。

但是也有一部分人对HTTP代理IP的使用有误解，他们认为使用代理IP可以解决所有的问题，但事实上，代理IP并非万能，它只是一种工具，如果使用不当，同样会被封IP。

代理商IP分为三类：透明代理商，普通匿名代理商，高级匿名代理商。

高匿名性、匿名性和透明性代理的主要区别在于对方服务器获取REMOTE_ADDR,HTTP_X_FORWARDED_FOR,HTTP_VIA三个参数的区别。REMOTE_ADDR是不可伪造的。使用透明代理(Transparent)，对方服务器知道你使用了代理，也知道你的真实IP。REMOTE_ADDR=ProxyIP,HTTTP_VIA=ProxyIP,HTTP_X_FORWARDED_FOR=YourIP使用匿名代理(Anonymous)，而对方服务器知道你使用了代理，但不知道你的真实IP。REMOTE_ADDR = ProxyIP，HTTP_VIA = NULL，HTTP_X_FORWARDED_FOR = NULL使用高匿名代理(High)，对方服务器不知道你使用了代理，也不知道你的真实知识产权。REMOTE_ADDR=ProxyIP、HTTP_VIA=NULL、HTTP_X_FORWARDED_FOR=NULL。

目标网站知道使用透明代理和普通匿名代理会使用代理IP，自然会受到限制，高级匿名代理不会使用，因此在选择代理IP时，要注意这一点。

用代理IP爬取目标网站，被封IP的因素太多了，如cookie，如UserAgent等，当达到阈值时，IP就会被封；当访问目标网站的频率太快时，IP就会被封，因为人类的正常访问远达不到这个频率，自然就会被目标网站的反爬虫策略所识别。唯有模拟真实用户的正常访问，才能最大限度地避免IP被封。

　极光爬虫代理，数据采集服务服务提供商，遍布全国200+城市服务器，从容应对海量IP需求，我们从不吝惜产品的质量，为确保您获得最佳体验，我们提供更快，更可靠的服务。注册可以免费测试。

文章部分内容来源于网络，联系侵删*
免费领IP：http://h.jiguangdaili.com/?utm-source=xy&utm-keyword=?1