爬虫robots.txt 爬虫是一种自动获取网页内容的程序，是搜索引擎的重要组成部分；搜索引擎优化很大程度上，就是针对爬虫做出的优化。 robots.txtrobots.txt是一个协议，不是一个命令；robots.txt是爬虫要查看的第一个文件；告诉爬虫服务器上，什么文件是可以被检索的；爬虫就会按照 robots.txt来确定访问的范围。
