robots协议就是我们常常说的爬虫协议，你的网站如果有一些目录不想被爬虫抓取，可以将这些目录加入到robots.txt文件，保护你的隐私。简而言之，它的作用就是告知搜索引擎，能抓取的