我屏蔽了google的蜘蛛他为什么还不停抓取

jacky8

规则这样对不

User-Agent: Googlebot
Disallow: /1/
Disallow: /2/
Disallow: /3/
Disallow: /4/
Disallow: /images/

[貌似狂徒]


cschanlin/robots.txt 应该像这样屏蔽下 如果不知道 可以百度下 屏蔽了蜘蛛是不会爬去的

[紫气伏地]


你这个是屏蔽所有的蜘蛛吧 我只要屏蔽google的就OK了

[lzr291]


我也想知道怎么屏蔽谷歌蜘蛛，而不屏蔽其他的蜘蛛。

[cqyork]


时间不够长

[diji]


应该是对的吧~~！！

[florence405]


你没robots是不是写错了

[lk2556]


无所谓撒！~ 抓就抓嘛！~

[seo木子]


这个我也不清楚。我也是新来学习的。期待达人的指示。

[心动地带]


不敢随便瞎说

[etsmiymm]


这个怎么写的啊。。？？？不懂啊。。

[cyhyy80]


User-Agent: Googlebot是说谷歌可以抓取，但是加上第二个命令Disallow: /，就可以屏蔽谷歌了

[退出论坛模式]


不是吧？干嘛要屏蔽呢？

[可奥　▋]


这个具体得问问懂行的。

[朱自醒]


这个或许是蜘蛛原来抓取的吧，放出来了，淡定，等一段时间再看看，前提是你的robots写对了

[Mrstar]


roots 文件设置 出了问题吧