通过Robots.txt告诉爬虫哪些页面可以访问，它是国际互联网界通行的道德规范，虽然没有写入法律，但是每一个爬虫都应该遵守这项协议。

    目前我国还没有专门针对爬虫技术的法律或者规范。一般而言，爬虫程序只是在更高效地收集信息，因此从技术中立的角度而言，爬虫技术本身并无违法违规之处。
    — — 引用金杜律师事务所，网址如下：https://www.kwm.com/zh/cn/knowledge/insights/legal-issues-concerning-web-crawlers-20180525

    遵守相关法律是我们需要做到的。即便爬取公开数据，也应当做到。不影响服务器资源，不能造成服务器瘫痪，带宽拥堵。