当前位置:主页 > python教程 > python爬虫 urllib模块发起post请求过程解析

详解python爬虫 urllib模块发起post请求

发布:2020-01-28 18:34:28 124


本站收集了一篇Python相关的编程文章,网友劳弘雅根据主题投稿了本篇教程内容,涉及到python爬虫、urllib模块、post请求、python爬虫 urllib模块发起post请求过程解析相关内容,已被324网友关注,如果对知识点想更进一步了解可以在下方电子资料中获取。

python爬虫 urllib模块发起post请求过程解析

urllib模块发起的POST请求

案例:爬取百度翻译的翻译结果

1.通过浏览器捉包工具,找到POST请求的url

针对ajax页面请求的所对应url获取,需要用到浏览器的捉包工具。查看百度翻译针对某个字条发送ajax请求,所对应的url

点击clear按钮可以把抓包工具,所抓到请求清空

python爬虫 urllib模块发起post请求过程解析

然后填上翻译字条发送ajax请求,红色框住的都是发送的ajax请求

python爬虫 urllib模块发起post请求过程解析

抓包工具All按钮代表 显示抓到的所有请求 ,包括GET、POST请求 、基于ajax的POST请求
XHR代表 只显示抓到的基于ajax的POST请求

python爬虫 urllib模块发起post请求过程解析

哪个才是我们所要的基于ajax的POST请求,这个POST请求是携带翻译字条的苹果请求参数

python爬虫 urllib模块发起post请求过程解析

再看看这个POST请求 对应的请求URL ,这个URL是我们要请求的URL

python爬虫 urllib模块发起post请求过程解析

发起POST请求之前,要处理POST请求携带的参数 3步流程:

一、将POST请求封装到字典

二、使用parse模块中的urlencode(返回值类型是字符串类型)进行编码处理

三、将步骤二的编码结果转换成byte类型

import urllib.request
import urllib.parse
# 1.指定url
url = 'https://fanyi.baidu.com/sug'
# 发起POST请求之前,要处理POST请求携带的参数 流程:
# 一、将POST请求封装到字典
data = {
  # 将POST请求所有携带参数放到字典中
  'kw':'苹果',
}
# 二、使用parse模块中的urlencode(返回值类型是字符串类型)进行编码处理
data = urllib.parse.urlencode(data)

# 三、将步骤二的编码结果转换成byte类型
data = data.encode()

'''2. 发起POST请求:urlopen函数的data参数表示的就是经过处理之后的
POST请求携带的参数
'''
response = urllib.request.urlopen(url=url,data=data)

data = response.read()
print(data)

把拿到的翻译结果 去json在线格式校验(在线JSON校验格式化工具(Be JSON)),

点击格式化校验和unicode转中文

python爬虫 urllib模块发起post请求过程解析

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持码农之家。


相关文章

  • python爬取get请求的页面数据代码浅析

    发布:2019-12-05

    本篇文章给大家带来的内容是关于python爬虫如何爬取get请求的页面数据(附代码),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。​


  • 关于Python爬虫使用requests发送post请求的一些疑点

    发布:2020-02-27

    在Python爬虫中,使用requests发送请求,访问指定网站,是常见的做法,这篇文章主要介绍了Python requests发送post请求的一些疑点,具有一定的参考价值,感兴趣的小伙伴们可以参考一下


  • python爬虫之线程池和进程池功能与用法详解

    python爬虫之线程池和进程池功能与用法详解

    发布:2023-01-05

    给大家整理一篇关于python爬虫的教程,这篇文章主要介绍了python爬虫之线程池和进程池功能与用法,结合实例形式分析了Python基于线程池与进程池的爬虫功能相关操作技巧与使用注意事项,需要的朋友可以参考下


  • python识别爬虫的实例方法

    发布:2019-11-02

    输入式验证码,推荐使用python第三方库tesserocr;滑动式验证码,可使用seleniium;宫格验证码,使用selenium模拟即可。


  • python怎么爬取数据

    python怎么爬取数据

    发布:2022-10-20

    给大家整理一篇关于python的教程,Python爬虫是通过请求网站地址、获取响应、获取源码中的指定的数据、解析响应内容、存储数据这几个步骤来实现爬取数据的。


  • python线程池和进程池功能与用法总结

    发布:2019-06-04

    这篇文章主要介绍了python爬虫之线程池和进程池功能与用法,结合实例形式分析了Python基于线程池与进程池的爬虫功能相关操作技巧与使用注意事项,需要的朋友可以参考下


  • Python实现爬取京东手机图片的具体代码

    发布:2020-02-03

    本文主要为大家分享一篇Python如何实现爬取京东手机图片的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧,希望能帮助到大家。


  • python爬虫定义

    发布:2020-01-22

    说明了python爬虫是什么,和为什么大家讲python叫做爬虫的原因


网友讨论