爬虫中selenium的其他使用方法(二)

362次阅读
没有评论

每日分享: 

你一定要狠下心来努力,努力变成一个很厉害的人;身材不好就去锻炼,没钱就努力去赚,没有必要让其他人知道计划,努力让自己变得很厉害,厉害到有天你可以随时离开令你不舒服的圈子,你要用选择和努力惊艳时光,而不是去抱怨生活。

  • 掌握selenium开启无界面模式
  • 了解selenium使用代理ip
  • 了解selenium替换user-agent

一、selenium开启无界面模式

绝大多数服务器是没有界面的,selenium控制谷歌浏览器也存在无界面模式(又称无头模式)

  • 开启无界面模式的方法
    • 实例化配置对象
      • options = webdriver.ChromeOptions()
    • 配置对象添加开启无界面模式的命令
      • options.add_argument("–headless")
    • 配置对象添加禁用gpu的命令
      • options.add_argument("–disable-gpu")
    • 实例化带有配置对象的driver对象
      • driver = webdriver.Chrome(options=options)
  • 代码如下:
from selenium import webdriver
# 实例化配置对象
options = webdriver.ChromeOptions()
# 配置对象添加开启无界面浏览器的命令
options.add_argument('--headless')
# 禁用gpu
options.add_argument('--disable-gpu')
# 实例化带有配置对象的driver
driver = webdriver.Chrome(options=options)
driver.get('http://baidu.com')
# 截图
driver.save_screenshot('百度.png')

二、selenium使用代理ip

selenium控制浏览器也是可以使用代理ip

  • 使用代理ip的方法
    • 实例化配置对象
      • options = webdriver.ChromeOptions()
    • 配置对象添加使用代理ip的命令
      • options.add_argument('–proxy-server=https://61.133.87.228:55443')
    • 实例化带有配置对象的driver对象
      • driver = webdriver.Chrome(options=options)

代码如下:

from selenium import webdriver
# 实例化配置对象
options = webdriver.ChromeOptions()
# 使用代理ip
options.add_argument('--proxy-server=https://61.133.87.228:55443')
# 实例化带有配置对象的driver
driver = webdriver.Chrome(options=options)
driver.get('http://baidu.com')

三、selenium替换user-agent

selenium控制谷歌浏览器时,user-agent默认是谷歌浏览器,我们可以使用不同的user-agent

  • 替换user-agent的方法
    • 实例化配置对象
      • options = webdriver.ChromeOptions()
    • 配置对象添加替换UA的命令
      • options.add_argument('–user-agent=')
    • 实例化带有配置对象的driver对象
      • driver = webdriver.Chrome(options=options)

代码:

from selenium import webdriver
# 实例化配置对象
options = webdriver.ChromeOptions()
# 替换user-agent的命令
options.add_argument('--user-agent=Mozilla/5.0 HAHA')
# 实例化带有配置对象的driver
driver = webdriver.Chrome(options=options)
driver.get('http://baidu.com')

结果:

可以看到我们的user-agent已经改了 

爬虫中selenium的其他使用方法(二)

相关文章:

  1. 爬虫中selenium的其他使用方法
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:Python教程2022-10-19发表,共计1799字。
新手QQ群:570568346,欢迎进群讨论 Python51学习