Python教程自学网欢迎您来学习!
当前位置: 首页 > Python基础教程 > python数据模块类如何定义

python数据模块类如何定义

   

python数据模块类如何定义

说明

1、定义数据模块类,名为DataLoader。

2、类中有核心变量data用于保存爬行数据,以及两个相关界面grab_data(爬取数据)和save_data(保存数据到当地)。

实例

grab_data() 的核心代码

def grab_data(self):
    # 获取入口链接
    entries = self.get_entry()
    # 遍历入口链接,解析得到文章链接
    links = self.parse4links(entries)
    # 遍历文章链接,解析得到文章内容
    datas = self.parse4datas(links)
    # 将相关数据写入变量 data
    self.data = pd.DataFrame(datas)

save_data() 的核心代码

def save_data(self):
    # 将变量 data 写入 csv 文件
    self.data.to_csv(self.data_path, index = None)

我们已经爬取并保存好数据 data,数据以 DataFrame 形式存储,保存在 csv 文件,格式如下:

|---------------------------------------------------|
|    id    |     link   |     cont     |    title   |
|---------------------------------------------------|
|  page id |  page link | page content | page title |
|---------------------------------------------------|
|  ......  |   ......   |    ......    |   ......   |
|---------------------------------------------------|