python爬虫如何配置requests日志输出?

1,071次阅读
没有评论

python爬虫如何配置requests日志输出?

最近写一个代码的时候,需要使用requests从外部系统拿一些数据,外部系统有一些权限认证,又没有SDK,只有自己根据文档写了一个。其中比较麻烦的是发出去的请求没有办法看到request,response所有细节,于是搜索requests的日志打印,并做输出,大家也可以来学习看下。

requests的日志输出

1、配置logging模块,让requests的有效level是DEBUG,使用如下代码来测试requests的日志输出。

2、我们就能看到发出的请求和返回的基本信息了

python爬虫如何配置requests日志输出?

3、但是里面没有输出request和response的HTTP HEADER信息,定位问题还是比较麻烦,需要通过打开http.client的debuglevel来解决。

python爬虫如何配置requests日志输出?

4、这样请求和返回的http header都输出了。

python的库基本都有一个logging logger,如果要单独配置,那么需要通过观察里面名字来进行配置哦~好啦,Python如何定制日志输出格式对于输出日志也说的很详细。

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:wuyou2021-05-22发表,共计432字。
新手QQ群:570568346,欢迎进群讨论 Python51学习