爬虫——需求:获取豆瓣电影中动态加载出更多电影详情数据

346次阅读
没有评论
爬虫——需求:获取豆瓣电影中动态加载出更多电影详情数据

# 需求:获取豆瓣电影中动态加载出更多电影详情数据 # 思路:喜剧排行榜,ajax请求,20条,页面滚动加载 # # 浏览器打开网址–模拟浏览器滚动–怎么滚动页面?执行js代码。怎么抓取?不用重新发请求 from selenium import webdriver as wd from time import sleep

bro = wd.PhantomJS(executable_path='./phantomjs-2.1.1-windows/bin/phantomjs') bro.get('https://movie.douban.com/typerank?type_name=%E5%96%9C%E5%89%A7&type=24&interval_id=100:90&action=') # 浏览器滚动到底部 js='window.scrollTo(0,document.body.scrollHeight)'

# 如何让浏览器对象执行js代码 bro.execute_script(js)

sleep(5) bro.save_screenshot('./5.png')

# 获取加载数据后的页面: page_source获取浏览器当前数据 page_text = bro.page_source

# 解析数据

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:Python教程2022-10-25发表,共计564字。
新手QQ群:570568346,欢迎进群讨论 Python51学习