国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内IP代理推荐：
天启|企业级代理IP（>>>点击注册免费测试<<<）
神龙|纯净稳定代理IP（>>>点击注册免费测试<<<）

Python 爬虫学习笔记（十(5)）scrapy的POST请求

554次阅读
没有评论

创建scrapy文件的步骤和之前一样：

  • 创建项目 scrapy startproject 项目的名字
  • 跳转到scrapy文件夹的目录下
  • 创建爬虫文件
    scrapy genspider 爬虫文件的名字

    • 生成文件如图
    Python
    不难发现，start_url这个链接是无法访问的，原因是它是一个POST请求，POST请求必须依赖参数才能执行。

    start_url没有意义了，导致parse方法也没用了

    我们必须重新定义一个函数，然后用scrapy的POST请求方法，也就是scrapy.FormRequest去请求这个url，并且传入参数。之后回调parse_second函数来获取内容。

    Python

    总结

  • scrapy的POST请求中start_url没有意义，因为POST请求必须依赖于参数。
  • 需自定义函数，使用scrapy.FormRequest来传参数进行POST请求。
  • 可以指定callback来对相应内容进行操作。
    • 神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试
    发表于：Python爬虫
    2022-10-25
    # Python爬虫
    复制链接
    赏

    相关文章：

    版权声明：由Python教程2022-10-25发表，共计382字。
    新手QQ群：570568346，欢迎进群讨论 Python51学习
    国外IP代理推荐：
    IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
    国内IP代理推荐：
    天启|企业级代理IP（>>>点击注册免费测试<<<）
    神龙|纯净稳定代理IP（>>>点击注册免费测试<<<）
    python网络爬虫开发从入门到精通下载
    爬虫
    爬虫 网易云音乐评论 python3
    毕业答辩问题python爬虫数据分析
    天启|企业级代理IP免费测试>>>>>>>>神龙|纯净稳定代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试