手动模拟搜索引擎蜘蛛的抓取

在Google抓取方式部分,站长可以输入自己网站上的任何一个网址,站长工具会发出Google 蜘蛛,实时抓取页面内容,并显示出抓取的HTML代码,包括服务器头信息和页面代码,如图3-52、图3-53所示。如果点击的是“抓取并呈现”,Google会像浏览器一样尝试渲染页面并显示结果,站长可以直观发现哪些JS 不能被执行和渲染。

显然这对站长确认转向设置和检查服务器是否正确返回内容很有帮助。如果有重要的未收录页面,站长还可以在这里提交 URL。

另外,这个工具也可以用来检查页面是否被黑。有的时候黑客放入的代码会检查浏览器类型,如果是用户使用的普通浏览器访问则返回正常内容,如果是搜索引擎蜘蛛访问,才返回黑客加上去的垃圾内容和垃圾链接。所以站长自己访问网站看不出异样,Google 蜘蛛抓到的却不是站长自己看到的内容。这个工具可以帮助站长检查页面是否存在安全漏洞。

友情链接 广东密特斯科技集团有限公司 德仁心集团 佰利顺机械制造有限公司 KITALY

商略业务覆盖:网站建设、电子商务、淘宝天猫视觉营销、外贸网站营销、企业邮箱等,尤其在企业形象网站建设、外贸网站制作领域更是倍受客户青睐。

版权所有商略网络科技有限公司 © 2013-2021,粤ICP备14047267号