当前位置:主页 > python教程 > 解决Python selenium get页面很慢时的问题

Python selenium get页面很慢时的解决方案

发布:2020-01-29 16:50:15 95


给网友们整理Python相关的编程文章,网友梁文姝根据主题投稿了本篇教程内容,涉及到Python、selenium、get页面、解决Python selenium get页面很慢时的问题相关内容,已被962网友关注,涉猎到的知识点内容可以在下方电子书获得。

解决Python selenium get页面很慢时的问题

driver.get("url")等到页面全部加载渲染完成后才会执行后续的脚本。

在执行脚本时,driver.get("url") ,如果当前的url页面内容较多加载特别慢,很费时间,但是我们需要操作的元素已经加载出来,可以将页面加载停掉,不影响后面的脚本执行,解决办法

设置页面加载timeout,get操作: try get except 脚本window.stop(), 使用GeckoDriver上有效果,

但是在ChromeDriver上还是会有问题,抛出异常timeout后续脚本不会继续执行

GeckoDriver执行具体如下:

访问百度贴吧某个获取其帖子总页数:

可以通过两种方式获取,简单的就是直接定位元素共11页

代码用定位尾页获取总页数

解决Python selenium get页面很慢时的问题

from selenium import webdriver
import re
 
driver = webdriver.Firefox()
#设定页面加载timeout时长,需要的元素能加载出来就行
driver.set_page_load_timeout(20)
driver.set_script_timeout(20)
#try去get
try:
  driver.get("http://tieba.baidu.com/p/5659969529?red_tag=w0852861182")
except:
  print("加载页面太慢,停止加载,继续下一步操作")
  driver.execute_script("window.stop()")
last_page_element = driver.find_element_by_css_selector("li.l_pager.pager_theme_4.pb_list_pager >a:nth-child(12)") #定位到元素尾页元素
#获取尾页页码链接文本
text = last_page_element.get_attribute("href")
all_page_num = re.search("\d+$",text).group() # 正则匹配到页码
print("当前贴吧贴子总页数为:%s"%all_page_num)

以上这篇解决Python selenium get页面很慢时的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持码农之家。


参考资料

相关文章

  • python遍历列表和数组实例讲解

    发布:2019-05-31

    这篇文章主要介绍了Python实现带下标索引的遍历操作,结合具体实例形式分析了2种带索引的遍历操作实现方法及相关操作注意事项,需要的朋友可以参考下


  • 用Python for循环实例来解析什么是Python循环语句?

    发布:2022-11-03

    给大家整理一篇关于Python的教程,本章介绍了关于Python循环语句的内容


  • 基于Python开发云主机类型管理脚本分享

    发布:2023-04-23

    这篇文章主要为大家详细介绍了如何基于Python开发一个云主机类型管理脚本,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下


  • Python基于ImageAI实现图像识别详解

    发布:2023-04-22

    ImageAI是一个面向计算机视觉编程的Python库,支持最先进的机器学习算法。本文将利用ImageAI实现图像识别功能,感兴趣的小伙伴可以跟随小编一起学习一下


  • python求最大值最小值的实例方法

    发布:2019-11-19

    第一步,定义一个用户输入数据个数的方法。||第二步,创建一个空列表来储存用户输入的每个数据。||第三步,用for循环去遍历。||第四步,调用min与max函数且以列表为参。||第五步,输出结果


  • Python实现常见的4种坐标互相转换

    发布:2023-04-15

    主流被使用的地理坐标系并不统一,常用的有WGS84、GCJ02(火星坐标系)、BD09(百度坐标系)以及百度地图中保存矢量信息的web墨卡托,本文利用Python编写相关类以实现4种坐标系统之间的互相转换,希望对大家有所帮助


  • python全栈的基础知识

    发布:2019-12-16

    即利用python和别的语言从前端页面的实现,到后台代码的编写,再到数据库的管理,一人可以搞定一个公司网站的所有事情,真正实现全栈开发。


  • python版本仿windows计划任务工具用法介绍

    发布:2020-06-16

    这篇文章主要介绍了python版本的仿windows计划任务工具,计划任务工具根据自己设定的具体时间,频率,命令等属性来规定所要执行的计划,当然功能不是很全大家可以补充


网友讨论