当前位置:武汉安邦运维 > SEO培训 >

禁止百度蜘蛛抓取某一个目录,怎么操作

问题:SEO怎么禁止百度蜘蛛爬某个文件夹?

回答:禁止搜索引擎抓取网站页面,最常用的就是使用robots文件,禁止百度蜘蛛爬行和抓取某个文件夹,可以用下面这段代码:

User-agent: Baiduspider

Disallow: wenjianjia/

禁止百度蜘蛛抓取

这里简单解释下几个字段概念:

Baiduspider:这个是百度搜索引擎蜘蛛;

Disallow:这表示禁止,不需要蜘蛛抓取;

wenjianjia/:这里替换你要禁止百度蜘蛛爬行的文件夹名,这里要注意下,如果在文件夹名称的后面加了 / ,就表示禁止抓取文件夹下面的页面,比如说www.test.com/wenjianjia/abc.html,但是www.test.com/wenjianjia/这个栏目页面还是会被抓取的。所以,想要www.test.com/wenjianjia/也不被抓取的话,就要去掉后面的 / ,也就是下面这样的代码:

User-agent: Baiduspider

Disallow: wenjianjia

关于SEO怎么禁止百度蜘蛛爬某个文件夹的问题,本文就简单的介绍到这里,总之使用robots文件是比较方便的,大家可以使用上面的代码,修改成自己的文件夹名称即可。如果要禁止两个文件夹,那就多复制一行,比如:

User-agent: Baiduspider

Disallow: wenjianjia_one/

Disallow: wenjianjia_two/

相关文章:

【思齐seo】百度抓取频次太低怎么办?

百度蜘蛛抓取网站链接的频次多少最好

标签: 百度蜘蛛 百度抓取 关键词:禁止百度蜘蛛抓取

本文首发于武汉SEO(www.ruangseo.com),转载请注明原文地址:https://www.ruangseo.com/seo/332.html

上一篇:没有了
  • 关注微信关注微信

微信公众号

微信公众号