网站结构部分将讨论网址规范化和复制内容等问题。造成复制内容问题的原因之一就是网址中可能存在的各种参数,由于参数不同形成不同的网址,但内容可能是一样的,或者不希望搜索引擎索引的。最好的处理方法当然是避免出现这种网址,但经常由于技术限制或功能需要而不得不使用某些参数。
不能避免参数又不希望搜索引擎索引时,可以在Google站长工具网址参数部分通知Google忽略某些参数,不抓取这类网址,虽然这里的设置对其他搜索引擎不起作用,但对其他搜索引擎的抓取问题也有帮助站长至少可以在这里查看有哪些参数被搜索引擎发现并可能造成复制内容,然后通过noindex、robots 文件等方法处理。