国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内IP代理推荐：
天启|企业级代理IP（>>>点击注册免费测试<<<）
神龙|纯净稳定代理IP（>>>点击注册免费测试<<<）

什么是爬虫?有哪些用途

497次阅读
没有评论
什么是爬虫?有哪些用途
  • 数据的来源：
    • 去第三方的公司购买数据(比如企查查)
    • 去免费的数据网站下载数据(比如国家统计局)
    • 通过爬虫爬取数据
    • 人工收集数据(比如问卷调查)
  • 爬虫的概念： 模拟浏览器发送网络请求，接收请求响应
  • 爬虫的用途:   12306抢票,网络投票等
  • 爬虫的分类:    分为通用爬虫(搜索引擎、聚焦爬虫(12306抢票) 、增量式网络爬虫（Incremental Web Crawler）和深层网络爬虫
  • 爬虫获取的数据的用途：
    • 进行在网页或者是app上进行展示
    • 进行数据分析或者是机器学习相关的项目

    •             6. 爬虫的流程：

                           向起始url发送请求，并获取响应

                          对响应进行提取

                           如果提取url，则继续发送请求获取响应

                           如果提取数据，则将数据进行保存

                7. Robots协议：网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，但它仅仅是互联网中的一般约定     如: http://www.taobao.com/robots.txt

                8. 

    神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试
    发表于：Python爬虫
    2022-10-24
    # Python爬虫
    复制链接
    赏

    相关文章：

    版权声明：由Python教程2022-10-24发表，共计518字。
    新手QQ群：570568346，欢迎进群讨论 Python51学习
    国外IP代理推荐：
    IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
    国内IP代理推荐：
    天启|企业级代理IP（>>>点击注册免费测试<<<）
    神龙|纯净稳定代理IP（>>>点击注册免费测试<<<）
    网络爬虫小偏方：robots.txt快速抓取网站的小窍门
    Python爬虫善逸三十张照片
    python爬虫如何收集知乎大V头像
    python爬虫爬取强智教务系统过程
    天启|企业级代理IP免费测试>>>>>>>>神龙|纯净稳定代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试