互联网不是法外之地，做任何事情之前都请三思而行

    通常在网站根目录下的 robots.txt 中约定了可以爬取的内容，以BiliBili为例：
    https://www.bilibili.com/robots.txt

    1. User-agent: Yisouspider
    2. Allow: /
    4. User-agent: Applebot
    5. Allow: /
    7. User-agent: bingbot
    8. Allow: /
    10. User-agent: Sogou inst spider
    11. Allow: /
    13. User-agent: Sogou web spider
    14. Allow: /
    16. User-agent: 360Spider
    17. Allow: /
    19. User-agent: Googlebot
    20. Allow: /
    22. User-agent: Baiduspider
    23. Allow: /
    25. User-agent: Bytespider
    26. Allow: /
    28. User-agent: PetalBot
    29. Allow: /
    31. User-agent: *
    32. Disallow: /