1. """
    2. 需求分析：
    3.     1.目标网站：https://www.mzitu.com/xinggan/
    4.     2.发起请求获取所有的翻页链接
    5.     3.利用多线程抓取每一页的图片
    6.     4.保存到目标文件夹
    7. """   
    8. """
    9. 模块：
    10.     requests, threading
    11. """
    12. # -*- coding: UTF-8 -*-
    14. import requests
    15. import threading   #多线程模块
    16. import re #正则表达式模块
    17. import time #时间模块
    18. import os  #目录操作模块
    21. """================= 01.获取所有的翻页链接 ================="""
    22. # 所有分页url
    23. all_urls = ['https://www.mzitu.com/xinggan/']
    25. class Spider(object):
    26.     def __init__(self, target_url, headers):
    27.         self.target_url = target_url
    28.         self.headers = headers
    30.     # 获取所有的分页url
    31.     def getUrls(self, start_page, page_num):
    32.         # 循环得到分页的url
    33.         for page in range(start_page, page_num):
    34.             url = self.target_url %page
    35.             all_urls.append(url)
    36.             print(all_urls)
    37.         print('所有分页链接获取完毕*********')
    40. """================= 02.获取所有单页的图片链接 ================="""
    41. # 图片列表页面
    42. all_img_urls = []
    43. # 初始化互斥锁
    44. g_lock = threading.Lock()
    45. # 生产者：负责从每个页面获取当前页面的图片链接
    46. class Producer(threading.Thread):
    47.     # 重写run()方法
    48.     def run(self):
    49.         headers = {
    50.             "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36",
    51.             'referer': 'https://www.mzitu.com/'
    52.         }
    53.         global all_urls
    54.         while len(all_urls) > 0:
    55.             print(len(all_urls))
    56.             # 加锁
    57.             g_lock.acquire()
    58.             # 通过pop方法移除最后一个元素，并且返回该值
    59.             page_url = all_urls.pop()
    60.             # 释放锁
    61.             g_lock.release()
    62.             try:
    63.                 print("分析：" + page_url)
    64.                 response = requests.get(page_url, headers=headers)
    65.                 # print(len(response.text))
    66.                 all_pic_link = re.findall('<li><a href="(.*?)" target="_blank"><img class=', response.text, re.S)
    67.                 # 这里用数组拼接所以要声明全局变量，如果用.append则不需要
    68.                 global all_img_urls
    69.                 # 加锁
    70.                 g_lock.acquire()
    71.                 # 这里直接将两个数组拼接，获取单页所有图片的链接
    72.                 all_img_urls += all_pic_link
    73.                 # 释放锁
    74.                 g_lock.release()
    75.             except:
    76.                 pass
    77.             print('已获取当前分页的组图链接' + str(all_img_urls))
    78.             print('02-等等吧，不然又要被封IP了......................')
    79.             time.sleep(2)
    80.         print('02.所有单页组图链接获取完毕***********')
    83. """================= 03.获取每一个图册里所以目标图片的链接 ================="""
    84. # 目标图片的链接
    85. pic_links = []
    86. # 消费者
    88. class Consumer(threading.Thread):
    89.     # 重写run()方法
    90.     def run(self):
    91.         headers = {
    92.             'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36',
    93.             'referer': 'https://www.mzitu.com/'
    94.         }
    95.         # 调用全局的图片详情页面链接数组
    96.         global all_img_urls
    97.         print('%s 正在运行' %threading.current_thread)
    98.         while len(all_img_urls) > 0:
    99.             # 加锁
    100.             g_lock.acquire()
    101.             img_url = all_img_urls.pop()
    102.             # 释放锁
    103.             g_lock.release()
    104.             try:
    105.                 response = requests.get(img_url, headers=headers)
    106.                 # 由于我们调用的页面编码是GB2312，所以需要设置一下编码
    107.                 # response.encoding = 'gb2312'
    108.                 title = re.search('<h2 class="main-title">(.*?)</h2>', response.text).group(1)
    109.                 all_pic_src = re.findall('<img class="blur" src="(.*?)"', response.text)
    110.                 print(title, all_pic_src)
    111.                 # 创建图片字典
    112.                 pic_dict = {title : all_pic_src}
    113.                 # 加锁
    114.                 g_lock.acquire()
    115.                 pic_links.append(pic_dict)
    116.                 print(title + '获取成功')
    117.                 # 释放锁
    118.                 g_lock.release()
    119.             except:
    120.                 pass
    121.             print('03-等等吧，不然又要被封IP了......................')
    122.             time.sleep(2)
    123.         print('03.所有组图详情标题和图片链接获取完毕*********')
    126. """================= 04.储存目标图片 ================="""
    127. class DownPic(threading.Thread):
    128.     # 重写run()方法
    129.     def run(self):
    130.         headers = {
    131.             'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/',
    132.             'referer': 'https://www.mzitu.com/'
    133.         }
    134.         i = 0
    135.         while True:
    136.             i += 1
    137.             global pic_links
    138.             # 上锁
    139.             g_lock.acquire()
    140.             # 如果没有图片了就解锁
    141.             if len(pic_links) == 0:
    142.                 g_lock.release()
    143.                 continue
    144.             else:
    145.                 pic = pic_links.pop()
    146.                 g_lock.release()
    147.                 # 遍历图片字典，key：title; values：图片链接
    148.                 for key, values in pic.items():
    149.                     # path = key.rstrip('\\')
    150.                     path = ('@美女图片')
    151.                     # os.path.exists(path)判断路径为path的文件是否存在
    152.                     is_exists = os.path.exists(path)
    153.                     # 判断结果
    154.                     if not is_exists:
    155.                         # 如果不存在则创建目录
    156.                         os.makedirs(path)
    157.                         print('{}目录创建成功'.format(path))
    158.                     else:
    159.                         # 如果目录存在则不创建，并提示目录已存在
    160.                         print(path + '目录已存在')
    161.                         # ===================================
    162.                     for pic in values:
    163.                         pic_name = key + '.jpg'
    164.                         # 设置图片的名字：路径 + 图片名
    165.                         filename = path + '/' + pic_name
    166.                         if os.path.exists(filename):
    167.                             continue
    168.                         else:
    169.                             try:
    170.                                 response = requests.get(pic, headers=headers)
    171.                                 with open(filename, 'wb') as f:
    172.                                     f.write(response.content)
    173.                             # Exception可以将所有的异常包括在内,并将异常赋予变量e
    174.                             except Exception as e:
    175.                                 print(e)
    176.                 print('04-等等吧，不然又要被封IP了......................')
    177.                 time.sleep(2)
    178.             print('图片下载中*************')
    185. if __name__ == '__main__':
    186.     headers = {
    187.         'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36',
    188.         'referer': 'https://www.mzitu.com/'
    189.     }
    190.     target_url = 'https://www.mzitu.com/xinggan/page/%d/'
    192.     spider = Spider(target_url, headers)
    193.     spider.getUrls(2,3)
    194.     # print(all_urls)
    195.     all_urls.reverse()
    197.     threads = []
    198.     # start = time.time()
    200.     # 创建5个线程去访问每个单页
    201.     for x in range(2): 
    202.         p = Producer()
    203.         p.start()
    204.         threads.append(p)
    205.     # 首先创建了一个空列表threads，再通过循环添加join使得主线程等待子线程运行完毕之后运行
    206.     for pp in threads:
    207.         pp.join()
    209.     # end = time.time()
    210.     # print('总耗时', end - start)
    212.     # 创建10个线程去获取每个单页图片链接
    213.     for x in range(10):
    214.         c = Consumer()
    215.         c.start()
    217.     # # 创建10个线程获取并保存每个详情页的图片
    218.     for x in range(10):
    219.         d = DownPic()
    220.         d.start()
    222.     print('程序结束')