爬取豆瓣电影名

828次阅读
没有评论

爬取豆瓣电影名

现如今,随着人们消费水平的提高,看电影成为人们消费娱乐的选择,大家观看电影艺术根据自己的喜好选择,另一个就是根据此电影的评价选择。豆瓣是一个观众可以评价电影好坏及影评的地方,我们可以在豆瓣获取高质量的电影名称去选择观看,本文介绍python爬虫豆瓣电影名思路分析及具体代码。

一、爬虫豆瓣电影名思路分析

1、爬虫代理

 headers = {
        'user-agent':
            'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit' +
            '/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'
    }

2、获取网络连接

 res = requests.get("https://movie.douban.com/top250", headers=headers)

第一个参数就是网址,要确保网址能够打开,第二个参数就是代理。

3、对网址进行解析

soup = BeautifulSoup(res.text, 'lxml')

第一个参数是网站,后缀名".text"是将网站源码转换为文本,方便解析;

第二个参数是解析器,而lxml就是一种解析器,用来解析网站。

4、匹配所有电影名所在的标签

 targets = soup.find_all("div", class_="hd")

5、使用简单的for循环,输出标签中的电影名

   for each in targets:
       print(each.a.span.text)

循环输出就可以了,但要注意转换为文本,避免出现乱码的情况。

二、爬虫豆瓣电影名简单代码示例

import requests
from bs4 import BeautifulSoup

if __name__ == '__main__':
    headers = {
        'user-agent':
            'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit' +
            '/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'
    }
    res = requests.get("https://movie.douban.com/top250", headers=headers)
    print(res.status_code)
    soup = BeautifulSoup(res.text, 'lxml')
    targets = soup.find_all("div", class_="hd")
    for each in targets:
        print(each.a.span.text

以上就是python爬虫豆瓣电影名思路分析及具体代码,希望能对你有所帮助哟~

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:wuyou2021-07-18发表,共计1353字。
新手QQ群:570568346,欢迎进群讨论 Python51学习