scrapy框架如何运行并下载数据

332次阅读
没有评论

scrapy框架如何运行并下载数据

上篇我们讲了学习scrapy框架是为了python爬虫做准备的,那么在本篇中就要开始真正的运行python爬虫了。经过了这么久爬虫理论知识的洗礼,想必小伙伴们已经迫不及待想要尝试一下怎么通过scrapy框架运行爬虫了。不着急,我们慢慢往下看。体会获取数据的成就感然后把成果保存下来。

 

在项目文件夹内打开cmd运行下列命令:

scrapy crawl douban_top250 -o douban.csv

 

注意此处的douban_movie_top250即为我们刚刚写的爬虫的name, 而-o douban.csv是scrapy提供的将item输出为csv格式的快捷方式,第一次输出后是乱码,这时候我们要在settings.py设置一些编码格式:

 

FEED_EXPORT_ENCODING = 'GBK'

 

另外,在python包下面exporters.py里面CsvItemExporter 类中io.TextIOWrapper添加参数newline=”,取消csv的自动换行

 

scrapy框架如何运行并下载数据

 

再次运行上述命令,我们想要的信息都被下载到douban.scv文件夹里了:

 

scrapy框架如何运行并下载数据

通过上述的工作,我们完成了第一页的页面信息爬取。

看到这种聪明的小伙伴已经猜出我们还有续篇要出现了,毕竟这只是第一页数据的获取~感兴趣的小伙伴跟小编一起看看下一篇吧。

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:wuyou2021-05-25发表,共计558字。
新手QQ群:570568346,欢迎进群讨论 Python51学习