文章目录

• 前言
• 一、爬虫是什么？
• 二、爬虫实战案例
• • 1.引入库
  • 2.请求网页处理
  • 3.生成访问链接
  • 4.读入数据到mongodb
  • 5.获得数据
  • 6.加入多线程
• 总结

前言

在想获取网站的一些数据时，能过人工手动复制和粘贴，这样的效是不非常低的，数量少的时候可能觉得什么事，当数量多起来的时候就会显得很无力，因此爬虫就被按排上场了，本文就介绍了爬虫学习的基础内容。

一、爬虫是什么？

网络爬虫，又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

二、爬虫实战案例

1.引入库

先入引一些接下来要用的库
代码如下（示例）：

# requests 用来爬取页面 import requests # logging 用来输出信息 import logging # re 用来实现正则表达式解析 import re # pymongo 用来链接mongodb数据库的 import pymongo # 随机 import random from lxml import etree # urljoin 用来做 URL 的拼接 from urllib.parse import urljoin # 多线程的引入 import multiprocessing # pymongo有自带的连接池和自动重连机制，但是仍需要捕捉AutoReconnect异常并重新发起请求。 from pymongo.errors import AutoReconnect from retry import retry # 随机获取 UserAgent from fake_useragent import UserAgent import time

2.请求网页处理

scrape_page 方法是模仿浏览器发送请求用判断请求网页是否成功，以及出现异常的处理
代码如下（示例）：

# 开始时间 start = time.time()

''' 如果没有为根日志程序定义处理程序，debug()、info()、warning()、error()和 critical() 函数将自动调用 basicConfig()。

level 将根记录器级别设置为指定的级别。默认生成的 root logger 的 level 是 logging.WARNING，低于该级别的就不输出了。级别排序：CRITICAL > ERROR > WARNING > INFO > DEBUG。（如果需要显示所有级别的内容，可将 level=logging.NOTSET）

format 为处理程序使用指定的格式字符串。 指定输出格式 ''' logging.basicConfig(level=logging.INFO, format='%(asctime)s – %(levelname)s: %(message)s')

# 写入请求头 headers = { 'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9', 'accept-encoding': 'gzip, deflate, br', 'accept-language': 'zh-CN,zh;q=0.9', 'cache-control': 'max-age=0', 'sec-ch-ua': '" Not A;Brand";v="99", "Chromium";v="99", "Google Chrome";v="99"', 'sec-ch-ua-mobile': '?0', 'sec-ch-ua-platform': '"Windows"', 'sec-fetch-dest': 'document', 'sec-fetch-mode': 'navigate', 'sec-fetch-user': '?1', 'upgrade-insecure-requests': '1', 'User-Agent': UserAgent().chrome }

# 代理IP列表 Proxies = [ {"http": "http://3.221.105.1:80"}, {"http": "http://3.221.105.1:80"}, {"http": "http://3.221.105.1:80"}, ]

def scrape_page(url):

logging.info('scraping %s (···)', url) try: # 向url对应的服务器发送相应的get请求，获得对应的相应 。 response = requests.get( url, proxies=random.choice(Proxies), headers=headers) # 如果响应码为200则返回网页源码 if response.status_code == 200: return response.text # 如果不是200就在日志里打印出响应码和链接 logging.error('get invalid status code %s while scraping %s', response.status_code, url) # requests 的异常处理 except requests.RequestException: # exc_info为布尔值，如果该参数的值为True时，则会将异常信息添加到日志消息中；如果没有则会将None添加到日志信息中。 logging.error('error occurred while scraping %s', url, exc_info=True)

3.生成访问链接

scrape_index 方法是将生成的 url 全写入生成器中便于下次二次使用
代码如下（示例）：

# 要爬取的网站链接 TSY_URL = 'https://www.taoshouyou.com/game/zhaohuanyingxiong-24798-0-3'

GAME_NAME = '召唤英雄' # 初始化需要爬取的总页码数量 TOTAL_PAGE = 1

def scrape_index(url): html = scrape_page(url) # 获取页码数 pattern = r'<li><a>(.*?)</a></li>' TOTAL_PAGE = re.findall(pattern, html, re.S)[0] TOTAL_PAGE = TOTAL_PAGE.split('/')[1]

# 生成链接列表 for page in range(1, int(TOTAL_PAGE) + 1): # 拼接url game_url = url + '/0-0-0-0-0-1-0-0-0-' + str(page) + '?quotaid=0' yield game_url

4.读入数据到mongodb

将爬取到的数据写入到mongodb数据库中
代码如下（示例）：

# 指定 mongodb 的连接IP，库名，集合 MONGO_CONNECTION_STRING = 'mongodb://192.168.27.101:27017' MONGO_DB_NAME = 'tsy' MONGO_COLLECTION_NAME = 'tsy'

client = pymongo.MongoClient(MONGO_CONNECTION_STRING) db = client['tsy'] collection = db['tsy']

''' AutoReconnect:捕捉到该错误时进行重试，这个参数可以是一个元组，里面放上多个需要重试的条件 tries:重试次数 delay:两次重试的间隔时间 ''' @retry(AutoReconnect, tries=4, delay=1) def save_data(data): """ 将数据保存到 mongodb 使用 update_one() 方法修改文档中的记录。该方法第一个参数为查询的条件，第二个参数为要修改的字段。 upsert： 是一种特殊的更新，如果没有找到符合条件的更新条件的文档，就会以这个条件和更新文档为基础创建一个新的文档；如果找到了匹配的文档，就正常更新，upsert非常方便，不必预置集合，同一套代码既能用于创建文档又可以更新文档 """ # 存在则更新，不存在则新建， collection.update_one({ # 保证 标题链接数据 是唯一的 '标题链接': data.get('标题链接') }, { '$set': data }, upsert=True)

5.获得数据

获取数据并且对数据进行简单的处理
代码如下（示例）：

def parse_detail(url): html = scrape_page(url) # 格式化html selector = etree.HTML(html) house_list = selector.xpath( '//*[@id="js-b-trade-list-conlist-trade-list"]/div[@class="row b-trade-list-conlist-box"]') # 历遍每一条数据 for house in house_list: biaoti = house.xpath("h1/a/span/text()") if len(biaoti) >= 1: biaoti = biaoti[0] zhekou = house.xpath("h1/a/span[2]/text()") jiage = re.findall(r'(d+.d{2})', biaoti.strip()) dianpu = house.xpath('div[1]/dl/dd[1]/span[2]/a/text()') shangpinleixing = house.xpath('div[1]/dl/dd[2]/text()') kehuduan = house.xpath('div[1]/dl/dd[3]/text()') youxiqufu = house.xpath('div[1]/dl/dd[4]/span/text()') html_1 = house.xpath('h1/a/@href') if zhekou == [] or dianpu == [] or shangpinleixing == [] or kehuduan == [0] or youxiqufu == [0]: print("这不是我需要的") else:

zhekou = re.findall(r'd+.?d*', zhekou[0]) game_date = { '标题': biaoti.strip(), '折扣': zhekou[0], '价格': jiage[0][:–3], '店铺': dianpu[0], '商品类型': shangpinleixing[0].split('：')[1], '客户端类型': kehuduan[0].split('：')[1], '游戏区服': youxiqufu[0], # 拼接url '标题链接': urljoin('https://www.taoshouyou.com', html_1[0]), '游戏名': GAME_NAME } logging.info('get detail data %s', game_date) logging.info('saving data to mongodb') save_data(game_date) logging.info('data saved successfully')

6.加入多线程

代码如下（示例）：

if __name__ == '__main__': # 引入多线程 pool = multiprocessing.Pool() detail_urls = scrape_index(TSY_URL) # map()函数。需要传递两个参数，第一个参数就是需要引用的函数，第二个参数是一个可迭代对象，它会把需要迭代的元素一个个的传入第一个参数我们的函数中。因为我们的map会自动将数据作为参数传进去

# 传入一个url列表，parse_detail方法每次只能获取一条url pool.map(parse_detail, detail_urls) # 关闭mongodb连接 client.close()

# 关闭进程池，不再接受新的进程 pool.close() # 主进程阻塞等待子进程的退出 pool.join()

# 结束时间 end = time.time() print('Cost time: ', end – start)

总结

以上就是今天要讲的内容，本文仅仅简单介绍了针对网页源码中有数据可获取的爬虫使用。