今天尝试使用python，爬取网页数据。因为python是新安装好的，所以要正常运行爬取数据的代码需要提前安装插件。分别为requests    Beautifulsoup4   lxml  三个插件。

因为配置了环境变量，可以cmd命令直接安装。假如电脑上有两个版本的python，建议进入到目录安装。

安装的命令为 pip install requests（Beautifulsoup4   /lxml  ） 三条分别执行。

安装结束，可以尝试网上一些简单的例子，明白了解 Beautifulsoup4   解析网页所使用的方式。这个可以避开正则表达式，个人感觉学起来很方便。

soup.select('') 这个方法就是解析网页代码，提取其中某一部分。该方法的使用可以类比java 爬虫的webmagic  jsoupXpath-0.1.1.jar 的使用方法。

主要理解这个方法之后就可以看懂大部分代码。

以下为网上的例子代码，比较简单，适合学习。

import requests from bs4 import BeautifulSoup def getHTMLText(url): try: r = requests.get(url, timeout = 30) r.raise_for_status() #r.encoding = 'utf-8' return r.text except: return "" def getContent(url): html = getHTMLText(url) # print(html) soup = BeautifulSoup(html, "html.parser") title = soup.select("div.hd > h1") print(title[0].get_text()) time = soup.select("div.a_Info > span.a_time") print(time[0].string) author = soup.select("div.qq_articleFt > div.qq_toolWrap > div.qq_editor") print(author[0].get_text()) paras = soup.select("div.Cnt-Main-Article-QQ > p.text") for para in paras: if len(para) > 0: print(para.get_text()) print() #写入文件 fo = open("text.txt", "w+") fo.writelines(title[0].get_text() + "n") fo.writelines(time[0].get_text() + "n") for para in paras: if len(para) > 0: fo.writelines(para.get_text() + "nn") fo.writelines(author[0].get_text() + 'n') fo.close() #将爬取到的文章用字典格式来存 article = { 'Title' : title[0].get_text(), 'Time' : time[0].get_text(), 'Paragraph' : paras, 'Author' : author[0].get_text() } print(article) def main(): url = "http://news.qq.com/a/20170504/012032.htm" getContent(url); main()

　　掌握基本的爬取数据之后，便尝爬取取大量数据。经过多次尝试发现，首先需要准备多个ip，同一个ip多次访问长时间会导致结果全部为空。

其次是多线程，为的是增加速度。python中多线程网上大多使用的是pool

使用

if __name__ == '__main__':#需加上这句代码，这时是一种固定的写法
# pool()有一个参数，processes，表示有多少个进程,比如processes=2
pool = ThreadPool() //网上大部分使用的是pool=Pool()，但是经过多次尝试总是失败，然后改成了这样的。

pool.map(get_all_list_info,urlStr) //两个参数，第一个为调用的方法，该方法有参数，但是后边不写形参，map的第二个参数为一个迭代器，就是集合形式，会按顺序取其中的数据，作为参数传递给方法。
pool.close()
pool.join()

掌握这些，基本可以实现大量数据爬取。

转载于:https://www.cnblogs.com/wys-373/p/10356964.html