学习笔记

文章目录

• • Ajax动态加载网站数据抓取
  • • • 动态加载的类型
      • 那么该如何抓取数据？
      • 如何得到JSON文件的地址？
      • 观察JSON文件URL地址的查询参数
      • JSON格式数据转换成python字典
    • 如何获取科研数据

Ajax动态加载网站数据抓取

前几天小伙伴在写报告时，和我讨论了一下爬取某生态网站的统计数据问题，我看了一下，这个网站是动态加载的，想了一想，很多数据网站的数据都是动态加载的，那么脆写一个案例吧，方便大家进行数据收集和整理。

在爬取数据之前，我先讲几个关于动态加载网站的知识点，方便大家理解代码。

动态加载的类型

• 部分页面刷新的动态加载

我们首先看一个动态加载的网站(这个网站也是我们之后要爬取的网站)：