爬虫时使用http代理ip的注意点

参考资料

正文内容

给学习python的读者整理一篇《爬虫时使用http代理ip的注意点》优秀文章，好久没看到这么好的Py技术类文章，把错误代码改掉了，看完如果觉得有用请记得收藏。

1、检查JavaScript。如果你从web服务器收到的页面是空白的，缺少信息，或者没有达到你的预期(或者不是你在浏览器中看到的)，可能是因为网站创建页面的JavaScript执行有问题。

2、检查正常浏览器提交的参数。如果您要提交表单或向网站发送开机自检请求，请记得检查页面内容，查看您要提交的每个字段是否都已填写完毕，格式是否正确。使用Chrome浏览器的network面板(快捷键F12打开开发者控制台，然后点击“Network”查看)检查发送到网站的POST命令，确保你拥有的每个参数都是正确的。

3、是否有合法的Cookie。如果你已经登录网站却不能保持登录状态，或者网站上出现了其他的“登录状态”异常，请检查你的cookie。确保在加载每个页面时正确调用cookie，并且每次发出请求时都将cookie发送到网站。

4、IP被封禁的检测。如果用到HTTP，可以选择代理Ip。

错误，特别是403禁止问错误，可能说明网站已经把你的IP当成了机器人，不再接受你的任何请求。你要么等着自己的IP地址从网站黑名单里去掉，要么改(可以去星巴克上网)。如果你确定自己没有被封禁，查看下面的内容。

5、确认爬虫在网站上的速度不是特别快。快速采集是一种恶习，会对网管的服务器造成沉重的负担，还会让你陷入违法境地，切记：匆匆忙忙写程序或收集数据都是拙劣项目管理的表现;应该提前做好计划，避免临阵慌乱。

6、还有一件必须做的事情：修改你的请求头!有些网站会封杀任何声称自己是爬虫的访问者。如果你不确定请求头的值怎样才算合适，就用你自己浏览器的请求头吧。

以上就是爬虫时使用http代理ip的注意点，在爬取数据时应该避免这类情况的产生。建议结合代理ip的使用，如果大家想测试使用下，可以尝试品易http代理ip，免费测试包含各种类ip资源，无限调用IP量！python爬

本文教程操作环境：windows7系统、Python 3.9.1，DELL G3电脑。