‘’’
之前写的都是顺着来,若再多一点的请求呢?那不是要写很多很多?
所以要改写?怎样改写呢?
写成函数的,这样就尽可能的重用代码了
考虑实现的功能可以写成三个部分:请求页面,写入文件,主函数(main)
‘’’
import urllib.requestimport urllib.parsedef readPage(url): # 请求页面# 请求头headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'}req = urllib.request.Request(url, headers=headers)res = urllib.request.urlopen(req)html = res.read().decode('utf-8') # 要用decode('utf-8')来解码,这样才能看得懂!return htmldef writePage(filename, html): # 写入文件with open(filename, 'w', encoding='utf-8') as f:f.write(html)def main(): # 主函数name = input("请输入你要查询的贴吧名:")begin = int(input('请输入从第几页开始查询:')) # 如1end = int(input('请输入从第几页结束查询:')) # 如2# 因name为中文,浏览器不认识中文,所以要对name进行编码name1 = urllib.parse.quote(name) # 用urllib.parse的quote方法来对name进行编码for page in range(begin, end + 1): # range:左闭右开 1-5pn = (page - 1) * 50# 拼接urlurl = f'https://tieba.baidu.com/f?kw={name1}&pn={pn}'# 写入文件 第{page}页.htmlfilename = f'{name}的第{page}页.html' # 定义写入文件的文件名html = readPage(url) # 目的:获取页面的内容writePage(filename,html)if __name__ == '__main__':main()
