robots协议是什么 网站根目录的robots.txt怎么写 robots协议就是我们常常说的爬虫协议,你的网站如果有一些目录不想被爬虫抓取,可以将这些目录加入到robots.txt文件,保护你的隐私。简而言之,它的作用就是告知搜索引擎,能抓取的