• 原因:因为爬取网页太过频繁,服务器将你的ip屏蔽掉了
    • 解决方法:
      • 在请求头加上 Referer
      • 为了使爬虫更真实,我们还可以调用random库随机停止几秒
      • 还有一个方法就是使用多个代理去爬取信息