python网络爬虫综述-python网络爬虫框架

348次阅读
没有评论
python网络爬虫综述-python网络爬虫框架

    本文主要是个人python学习过程中的碎碎念想,希望对感兴趣的童鞋有所帮助。

    百度百科上网络爬虫的定义是:“网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本”。使用网络爬虫可以个性化的从互联网上抓取个人干兴趣的数据,完成当前搜索引擎所做不到的一些个性化搜索。不太恰当的说,使用python编写网络爬虫,其实就是在模拟模拟浏览器的工作过程,从互联网上抓取所需的信息并完成分析和提取、保存的过程。

    为了更好的网络爬虫的工作过程,我们首先来看用户访问互联网资源的过程,以用户在浏览器中输入:

http://www.baidu.com为例,当用户输入完成并开始搜索时,用户所请求的网页经过DNS完成域名解析后,通过网络承载HTTP协议栈的数据,发往百度所在的服务器,百度的数据器收到请求后将百度的首页的数据返回给用户(假设这一过程发生的所有过程全部正确),用户的浏览器收到百度响应数据后,采用浏览器进行数据解析,将百度的首页呈现在用户眼前。这里百度返回的数据是HTTP协议栈所封装的HTML/CSS/PHP的数据。如上文所述,我们使用python编写网络爬虫时,其工作原理也是如此。为完成这一工作过程,我们需要掌握python的基础知识,其中最重要的是python的urllib和urllib2库和python的正则表达式的使用,前者主要完成从目标主机中找到信息所在的“网页”,后者主要是从“互联网返回的网页”中获取到所需的信息。

    闲话少说,我们以一些实际例子来看,如何使用使用python来编写一些简单的网络爬虫。   

    实例一:使用python网络爬虫下载百度图库美女壁纸 http://857768.blog.51cto.com/847768/1641193

                  

   

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:Python教程2022-11-01发表,共计809字。
新手QQ群:570568346,欢迎进群讨论 Python51学习