【干活福利】Python爬虫IP代理教程,让你不再为IP被封禁发愁!

70次阅读
没有评论

文章目录

    • 🌊前言
    • 一、免费代理ip地址推荐
    • 二、reuqests的ip代理
    • 三、selenium的ip代理
    • 四、ip代理大坑(重点)
    • 💖福利
      • 🌊 Java入门到就业学习路线规划
      • 🌊 小白快速入门Python爬虫路线

🌊前言

Code皮皮虾 一个沙雕而又有趣的憨憨少年,和大多数小伙伴们一样喜欢听歌、游戏,当然除此之外还有写作的兴趣,emm…,日子还很长,让我们一起加油努力叭🌈

👉话不多说,直达底部有粉丝专享福利!!!

 


本文来源没啥特别,因为没使用ip代理导致爬取boos直聘数据时,ip被封了,不过好在已解决,想看看博主的爬虫文章的可以点击下方链接,还是蛮全的。

博主更多博客文章

一、免费代理ip地址推荐

神龙代理

天启代理

神龙代理需要注册,但注册后每天可以领取代理,还是很不错的 站大爷和快代理都有免费的开放代理 快代理也可以注册账号,在免费代理页面通过人工客服也可以领取试用独有IP

二、reuqests的ip代理

文章使用 http://httpbin.org/ip 这个测试 HTTP 请求及响应的网站

没使用ip代理之前

import requests

response = requests.get(“http://httpbin.org/ip”) print(response.text)

【干活福利】Python爬虫IP代理教程,让你不再为IP被封禁发愁!

使用ip代理之后

import requests

proxy = { ‘http’: ‘171.35.171.247:9999’ }

response = requests.get(“http://httpbin.org/ip”,proxies=proxy) print(response.text)

可以看见返回的ip和代理的ip一样 【干活福利】Python爬虫IP代理教程,让你不再为IP被封禁发愁!

三、selenium的ip代理

没使用代理之前

from selenium import webdriver

driver = webdriver.Chrome() driver.get(“http://httpbin.org/ip”)

【干活福利】Python爬虫IP代理教程,让你不再为IP被封禁发愁! 使用代理之后

from selenium import webdriver

options = webdriver.ChromeOptions() #添加IP代理 options.add_argument(“–proxy-server=http://183.166.149.193:20005”)

driver = webdriver.Chrome(chrome_options=options) driver.get(“http://httpbin.org/ip”)

【干活福利】Python爬虫IP代理教程,让你不再为IP被封禁发愁!

四、ip代理大坑(重点)

ip代理有http和https的区别,但很多小伙伴不清楚到底有什么区别,经过博主踩坑后终于搞懂了,在线分享给大家

1. 【干活福利】Python爬虫IP代理教程,让你不再为IP被封禁发愁! 【干活福利】Python爬虫IP代理教程,让你不再为IP被封禁发愁!

2. 【干活福利】Python爬虫IP代理教程,让你不再为IP被封禁发愁!

【干活福利】Python爬虫IP代理教程,让你不再为IP被封禁发愁!

结论:如果请求的ip是https类型的,但代理的ip是只支持http的,那么还是使用本机的ip, 如果请求的ip是http类型的,那么代理的ip一定要是http的,前面不能写成https。

 


💖福利

 

公众号干货内容输出,囊括Java、Python爬虫、力扣题解、大厂面试题 四大系列,更有长时间总结的干货资源分享

 


🌊 Java入门到就业学习路线规划

关注底部公众号回复: Java学习路线,即可领取全套资料

【干活福利】Python爬虫IP代理教程,让你不再为IP被封禁发愁!


🌊 小白快速入门Python爬虫路线

关注底部公众号回复: 爬虫学习路线,即可领取全套资料

【干活福利】Python爬虫IP代理教程,让你不再为IP被封禁发愁!

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:Python教程2022-10-26发表,共计1317字。
新手QQ群:570568346,欢迎进群讨论 Python51学习