如何使用python爬虫处理有密码的网站?

1,536次阅读
没有评论

如何使用python爬虫处理有密码的网站?

信息基本上都是共享的,我们在想获取其他网站的内容的同时,其他的网站也同时想要吸取我们的内容,但是除了主动攻击,也有被动防御,比如,现在不少的网站都是有密码的,一般我们使用简单的代码并不能直接进行爬取,这难道就万无一失,没有办法了吗?然而并不是,我们可以用以下内容代码,解决这些问题。

步骤一:查看要爬取的网站信息

进入登录页面 。你会看到如下图所示的页面。

如何使用python爬虫处理有密码的网站?

然后进行查看元素,查看到name、password,最终我们得到以下内容

payload = {
"username": "<USER NAME>",
"password": "<PASSWORD>",
"csrfmiddlewaretoken": "<CSRF_TOKEN>"
}

步骤二、配置网站登录设置

创建一个登录对象。

session_requests = requests.session()

设置一个登录的url

result = session_requests.post(
login_url,
data = payload,
headers = dict(referer=login_url)

)

步骤三、爬取信息内容

到了这个步骤,我们已经成功进行登录了,用以下方式进行爬取:

url = '链接'
result = session_requests.get(
url,
headers = dict(referer = url)
)

或者您也可以使用通过检查请求来验证请求结果哦~没有密码的网站,很好进去爬取内容,有网站密码的,也不必担心,按照上述小编给大家安排的登录密码爬取解决内容即可哦~

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:wuyou2021-05-23发表,共计661字。
新手QQ群:570568346,欢迎进群讨论 Python51学习