如何用python爬取数据

  • 更新时间:2021-07-22 08:18:05
  • 编辑:金访枫
本站精选了一篇相关的编程文章,网友萧粟梅根据主题投稿了本篇教程内容,涉及到Python相关内容,已被473网友关注,内容中涉及的知识点可以在下方直接下载获取。

参考资料

正文内容

小编给大家总结一篇《如何用python爬取数据》的技术内容,代码实例很详细,增加了更多知识点内容,看完如果觉得有用请记得收藏。

如何用python爬取数据

1、find_all()的爬取

find_all():提取所有符合要求的数据,搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件。

2、用法

bs对象.find_all(标签,属性)

3、注意

bs对象、标签和属性使用都与find()一致。但是,从find_all()中提取的数据类型与find()是不同的。通过find()方法提取的数据类型通常是Tag,而通过find_all提取的数据类型通常是ResultSet。碰到了Tag类型的数据,我们可以通过Tag.text()来进一步提取纯文本格式的内容,通过Tag['PropertyName']来提取特定属性的值。当遇到了ResultSet类型的数据时,我就会想办法通过遍历进一步提取所有符合条件的数据。

4、实例

# 最灵活的使用方式
li_quick = soup.find_all(attrs={'class':'item-1'})
for li_quick in li_quick:
print('最灵活的查找方法:',li_quick)

以上就是用python爬取数据的方法,在之前我们已经对find方法有所学习,那么本篇find_all()也是比较简单和快速的爬取方法之一。

(推荐操作系统:windows7系统、Python 3.9.1,DELL G3电脑。)

相关教程

  • Python Django框架单元测试之文件上传测试示例

    这篇文章主要介绍了Python Django框架单元测试之文件上传测试,结合实例形式分析了Django框架单元测试中文件上传测试的操作步骤与相关实现技巧,需要的朋友可以参考下

    发布时间:2019-06-03

  • Python 确定多项式拟合/回归的阶数实例

    今天小编就为大家分享一篇Python 确定多项式拟合/回归的阶数实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

    发布时间:2019-06-03

用户留言