python学习之Selenium实战：爬取猎聘网渗透测试相关信息
- 更新时间：2021-06-23 10:17:52
- 编辑：越雁荷
给寻找编程代码教程的朋友们精选了相关的编程文章，网友方高朗根据主题投稿了本篇教程内容，涉及到可以、测试、操作、浏览器、禁相关内容，已被691网友关注，涉猎到的知识点内容可以在下方电子书获得。
参考资料
- 综合布线系统的设计施工 测试 验收与维护 课后答案 / 233 KB / 余明辉 尹岗 著福 禄克网络公司 编 推荐度：
- 《Linux操作系统》教案 配套资源 / 8.44 MB / 刘若慧,毛莺池,祁翔 推荐度：
- Python Web开发：测试驱动方法 PDF 电子书 / 44.6 MB / Harry J.W. Percival 推荐度：
- 实战多操作系统与虚拟机 / 124.81 MB / admin 推荐度：
- 计算机操作系统 课后答案 / 4.23 MB / 郁红英 李春强 推荐度：
正文内容
《python学习之Selenium实战：爬取猎聘网渗透测试相关信息》是一篇值得学习的技术文章，技术要点讲的很好，把网友测试过的内容发布到这里，为了大家阅读方便。
一、Selenium简介
百度解释：Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera，Edge等。
一般来说，Selenium可以模拟一个浏览器来执行一些操作。虽然操作会比较慢，但是可以用来抓取动态页面，比请求有更大的优势。
二、selenium高级操作
之前写过一篇webdriver模块使用，有情趣可以看看。
根据selenium可以对抓取内容进行限制，使用的是FirefoxProfile()这个函数去创建句柄
from selenium import webdriver
fp = webdriver.FirefoxProfile()
#禁止层叠样式表CSS
fp.set_preference("permissions.default.stylesheet",2)
#禁止图片加载
fp.set_preference("permissions.default.image",2)
#禁止JS的运行
fp.set_preference("javascript.enabled",false)三、爬取猎聘网渗透测试相关信息
由于猎聘网的反爬，以及我选择的班级的缺陷，我只拿到了职位和工资，却缺少公司和地址，但我大概是通过多次被反爬有了反爬的想法。
会在代码栏下抓取猎网，仅供参考:
#coding:utf-8
import requests
import time
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
driver=webdriver.Firefox(executable_path=r'D:\geckodriver.exe')
link="https://www.liepin.com/zhaopin/?sfrom=click-pc_homepage-centre_searchbox-search_new&d_sfrom=search_fp&key=%E6%B8%97%E9%80%8F%E6%B5%8B%E8%AF%95"
driver.get(link)
#找到文本框，输入渗透测试，输入回车
job_list=driver.find_elements_by_css_selector('div.job-info')
for each in job_list:
name=each.find_element_by_tag_name('h3').text
money=each.find_element_by_css_selector('span.text-warning').text
edu=each.find_element_by_css_selector('span.edu').text
ALL=name+money+edu+'\n'
with open ('a.txt',"a+") as f:
f.write(ALL)爬取后文件夹下生成a.txt。
相关教程
-
使用Python封装excel操作指南
这篇文章主要给大家介绍了关于使用Python封装excel操作的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
发布时间：2021-05-02
-
Springboot居然可以设置动态的Banner(推荐)
这篇文章主要介绍了Springboot居然可以设置动态的Banner,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
发布时间：2021-05-02
