爬虫中selenium的介绍、安装及使用

409次阅读
没有评论

每日分享:

与不合适不匹配的对方结盟,会让生命的能量减弱,这决定始终会被对方带来的负面能量逼近

  • 了解selenium的工作原理
  • 了解chromedriver的安装
  • 掌握标签对象click点击以及send_keys输入

一、selenium介绍

Selenium是一个Web的自动化测试工具,最初是为网站自动化检测而开发的,Selenium可以直接调用浏览器,它支持所有主流的浏览器(包括PhantomJS这些无界面浏览器),可以接受指令,让浏览器自动加载页面,获取需要数据,甚至截屏等。

1.1selenium初体验:

from selenium import webdriver
# 创建driver对象
driver = webdriver.Chrome()
# 发送get请求
driver.get('https://www.baidu.com')
# 截图
driver.save_screenshot('baidu.png')
# 打印标题
print(driver.title)
# 退出模拟浏览器(一定要退出,否则会有残留进程)
driver.quit()

打印的结果:

爬虫中selenium的介绍、安装及使用

保留的截图:

爬虫中selenium的介绍、安装及使用

 1.2 selenium的作用及工作原理

利用浏览器原生的API,封装成一套更加面向对象的Selenium WebDriver API,直接操作浏览器页面里的元素,甚至操作浏览器本身(截屏,窗口大小,启动,关闭,安装插件,配置证书等等)

  • webdriver本质是一个web-server,对外提供webapi,其中封装了浏览器的各种功能
  • 不同的浏览器使用不同的driver

二、selenium、webdriver的安装

这里我以谷歌浏览器的chromedriver为例(win10)

1. selenium的安装

直接在pycharm中的终端输入

pip install selenium

2. webdriver的安装

1.查看谷歌浏览器的版本

在谷歌右上角有三个点,点击->找到帮助->关于Google Chrome会出现如下图:

爬虫中selenium的介绍、安装及使用

2.访问网址 ChromeDriver Mirror找到自己对应的版本

爬虫中selenium的介绍、安装及使用

 下载后解压即可得到chromedriver.exe

3. 把chromedriver.exe放到anaconda里的Scripts;我的路径是:E:\anaconda\Scripts

如果不行则可以尝试其他方法:

  • 把chromedriver.exe放到python的安装目录中
  • 或者把chromedriver.exe放到你的谷歌安装目录,然后再去环境变量中的path中添加上此目录(在后面加上一个英文状态下的分号,在加上路径),下图中的是原始的,未添加路径(因为这种方法我试了,对于我来说是不行的)

爬虫中selenium的介绍、安装及使用

 三、selenium的简单使用

接下来我们通过代码来模拟百度搜索

import time
from selenium import webdriver
# 创建driver对象
driver = webdriver.Chrome()
# 控制浏览器访问url地址
driver.get('https://www.baidu.com/')
# 在百度搜索框中搜索‘python’(定位id属性值是‘kw’的标签,并向其中输入字符串‘python’)
driver.find_element('id', 'kw').send_keys('python')
# 点击‘百度搜索按钮’(定位id属性值是‘su’的标签,并点击)(click函数:触发标签的js的click事件)
driver.find_element('id', 'su').click()
# 等待6秒
time.sleep(6)
# 退出浏览器
driver.quit()

结果: 

爬虫中selenium的介绍、安装及使用

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:Python教程2022-10-19发表,共计1571字。
新手QQ群:570568346,欢迎进群讨论 Python51学习