一、【基本专业术语】

网络爬虫（英语：web crawler），也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。

网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

网络爬虫可以将自己所访问的页面保存下来，以便搜索引擎事后生成索引供用户搜索。

【一般有两个步骤】：1.获取网页内容 2.对获得的网页内容进行处理

准备

Linux开发环境，python3.61安装方法请参考百度

安装一些必要的第三方库

其中requiests可以用来爬取网页内容，beautifulsoup4用来将爬取的网页内容分析处理

pip3 install requiests

pip3 install beautifulsoup4

二、【爬起】

使用request库中的get方法，请求url的网页内容

三、【编写代码】

[root@localhost demo]# touch demo.py

[root@localhost demo]# vim demo.py

#web爬虫学习 – 分析

#输入：url

#处理：request库函数获取页面信息，并将网页内容转换成为人能看懂的编码格式

#输出：爬取到的内容

import requests

def getHTMLText(url):

try:

r = requests.get( url, timeout=30 )

r.raise_for_status() #如果状态码不是200，产生异常

r.encoding = ‘utf-8’ #字符编码格式改成 utf-8

return r.text

except:

#异常处理

return " error "

url = “http://www.baidu.com”

print( getHTMLText(url) )

四、【运行效果如下】：

[root@localhost demo]# python3 demo.py