爬虫实战——百度贴吧

开始

首先使用chrome浏览器,进入百度贴吧

注意输入框中的url

分析

为了进行具体的url分析,我在搜索框中输入”Python”,看一下url的变化

观察url变化

这时url变成了:

http://tieba.baidu.com/f?ie=utf-8&kw=python&fr=search&red_tag=b2531475437

通过分析,做一个测试, 删除url一些东西:

http://tieba.baidu.com/f?&kw=python

依旧可以得到正常的页面

下面进行翻页测试:

得到这样的一条url:

http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=50

通过分析,再进行一次测试,删除url中的一些东西:

得到下面的url

http://tieba.baidu.com/f?kw=python&pn=50

依旧可以得到相应的页面,因此可以得出结论:

kw 和 pn 是这个页面中最重要的关键词,kw控制关键词(其实就是keyword的缩写), pn(其实就是page_number的缩写)控制翻页,每翻一页,pn增加50,也就是说一页有50条数据。

分析结束,开始代码

初始url先用这个,之后再慢慢修改: http://tieba.baidu.com/f?kw=python&pn=50

直接上代码,注意看代码中的注释
# 爬取百度贴吧
import requests


class BdTieba():
    def __init__(self, name, pn):
        # 保存贴吧名
        self.name = name
        # 初始url
        self.base_url = "http://tieba.baidu.com/f?kw={}&pn=".format(name)
        # 构造请求头
        self.headers = {
            "User-Agent": "Mozilla / 5.0(Windows NT 10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/69.0.3497.100Safari/537.36"
        }

        # 2. 批量生成url
        # 使用列表推导式生成了url列表
        self.url_list = [self.base_url + str(i*50) for i in range(pn)]
        # 打印测试
        # print(self.url_list)

    # 3. 批量发送请求,封装发送请求
    def get_data(self, url):
        response = requests.get(url, headers=self.headers)
        return response.content

    def save_data(self, data, index):
        filename = self.name + "_{}.html".format(index)
        with open(filename, "wb") as f:
            f.write(data)

    def run(self):
        # 1.请求初始url,测试使用
        # response = requests.get(url=self.base_url, headers=self.headers)
        # 打印测试,测试成功返回结果
        # print(response.text)

        # 2.批量生成url
        for url in self.url_list:
            data = self.get_data(url)

        # 3.批量发送请求
            # 4.保存网页,为了保存的网页名字不重复,且有顺序,这里使用index进行区分
            # 获取当前url的index
            index = self.url_list.index(url)
            # 保存
            self.save_data(data, index)



if __name__ == '__main__':
    bdspider = BdTieba("python", 10)
    bdspider.run()

这里我只通过批量生成url,并批量获取url响应,并保存了url响应数据,这里测试了10页数据,如果想要爬取每个url中的数据,还需要进行页面分析和提取,这里就需要使用xpath,作为新手入门的一个教程,后续我会拿这个项目继续改进,增加xpath解析,爬取每页的文字信息,这里就先到这了。

后面我会写一篇关于xpath的简单快速上手文章,然后再对这个实战进行下一步的更新

over~
peace~

个人博客: www.limiao.tech

微信公众号:TechBoard

Leave a Comment