Python爬虫编程思想(150):使用Scrapy抓取数据,并将抓取到的数据保存为多种格式的文件

280次阅读
没有评论
Python爬虫编程思想(150):使用Scrapy抓取数据,并将抓取到的数据保存为多种格式的文件

        parse方法的返回值会被传给Item Pipeline,并由相应的Item Pipeline将数据保存成相应格式的文件。parse方法必须返回Item类型的数据。也就是说,parse方法的返回值类型必须是scrapy.Item或其scrapy.Item的子类。在该类中会定义与要保存的数据对应的属性。

        下面的例子首先会定义一个Item类,在该类中会定义title、href和abstract三个属性,然后在parse方法中返回Item类的实例,并设置这3个属性的值。最后在运行网络爬虫时会通过“-o”命令行参数指定保存的文件类型(通过扩展名指定),成功运行后,就会将抓取到的数据保存到指定的文件中。

        首先要在items.py脚本文件中编写一个Item类,在创建Scrapy工程时,items.py脚本文件中已经有了一个MyscrapyItem类了,我们可以直接利用这个类。

import scrapy class MyscrapyItem(scrapy.Item): # 每一个要保存的属性都必须是Field类的实例 title = scrapy.Field() href = scrapy.Field() abstract = scrapy.Field()

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:Python教程2022-10-25发表,共计535字。
新手QQ群:570568346,欢迎进群讨论 Python51学习