百度搜索通过蜘蛛来抓取网络上的内容，经过综合的分析以后给出关键词排名。所以蜘蛛抓取是工作的第一步，本文给大家介绍的是百度蜘蛛是什么意思，百度蜘蛛抓取规律是怎么样的

问题：SEO怎么禁止百度蜘蛛爬某个文件夹？ 回答：禁止搜索引擎抓取网站页面，最常用的就是使用robots文件，禁止百度蜘蛛爬行和抓取某个文件夹，可以用下面这段代码： User-agent: B