整个网站不能收录或某个目录下所有页面都不能收录，经常是因为robots.txt文件差错引起的。站长工具抓取部分robots 文件测试工具。

站长可以在这里测试robots 文件指令是否正确，输入一个网址，点击“测试”按钮看输入的网址是否可以被抓取或是被禁止，以及被哪一行指令禁止，如图 3-35 所示。

robots 文件中的任何一个字母差错都可能造成致命影响。有了这个工具，站长可以确保robots 文件中的每一行代码正确，不会错误禁止应该被抓取的文件或目录。

在Google 站长工具测试页面是否被robots文件禁止爬行