python爬虫中pyppeteer是什么?​

500次阅读
没有评论
python爬虫中pyppeteer是什么?​

python爬虫中pyppeteer是什么?​

Pyppetter就是类似于在谷歌浏览器中执行动作的时候,进行的网页渲染,就是依赖在Chromium浏览器中执行的,不需要繁琐的环境配置,就可以支持各种异步操作,能够大大提高我们的工作效率,因此也经常被用来做各种爬虫类型执行,好啦,下面一起来详细了解下使用问题吧。

安装:

pip3 install pyppeteer

命令测试:

>>> import pyppeteer

Pyppeteer抓取页面:

import asyncio
from pyppeteer import launch
from pyquery import PyQuery as pq
async def main():
    browser = await launch()
    page = await browser.newPage()
    await page.goto('http://quotes.toscrape.com/js/')
    doc = pq(await page.content())
    print('Quotes:', doc('.quote').length)
await browser.close()
 asyncio.get_event_loop().run_until_complete(main())

运行结果:

Quotes: 10

好啦,以上就是pyppeteer的基本以及实例用法了,多多浏览上述信息,希望可以帮助大家学习。

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:wuyou2021-07-14发表,共计637字。
新手QQ群:570568346,欢迎进群讨论 Python51学习