爬行和抓取是查找引擎作业的第一步，完成数据搜集的任务。

1.蜘蛛

查找引擎用来匍匐和拜访页面的程序被称为蜘蛛(spider)或机器人 (bot)。

查找引擎蜘蛛拜访网站页面时类似于普通用户运用的浏览器。蜘蛛程序发出页面拜访恳求后，服务器返回HTML代码，蜘蛛程序把收到的代码存入原始页面数据库。查找引擎为了进步匍匐和抓取速度，都运用多个蜘蛛并发散布匍匐。

蜘蛛拜访任何一个网站时,都会先拜访网站根目录下的robotstxt文件。假如robotstxt文件制止查找引擎抓取某些文件或目录，蜘蛛将恪守协议，不抓取被制止的网址。

和浏览器相同，查找引擎蜘蛛也有标明自己身份的用户代理称号，站长能够在日志文件中看到查找引擎的特定用户代理，然后辨识查找引擎蜘蛛。下面列出常见的查找引擎蜘蛛称号:

Baiduspider+(+http://www.baidu.com/search/spiderhtm)百度蜘蛛Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN;) Firefox/1.5.0.11; 360Spider(360蜘蛛)。

Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearchslurp)英文yahoo蜘蛛(yahoo现已抛弃自己的查找技术,列在这里权当前史留念吧)Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Google

蜘蛛。Mozilla/5.0 (ihone; CPU iPhone OS 6 0 like Mac OS X) AppleWebKit/536.26(KHTML，like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible;Googlebot/2.1; +http://www.google.com/bot.html)(Google 移动蜘蛛)。Mozilla/5.0(compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)微软 Bing蜘蛛。

Sogou+web+robot+(+http://wwwsogou.com/docs/help/webmasters.htm#07)搜狗蜘蛛

Sosospider+(+http://help.sosocom/webspider.htm)搜搜蜘蛛。

Mozilla/5.0 (compatible; YodaoBot/1.0; htp://www.yodao.com/help/ webmaster/spider/

有道螂蛛。

2.跟踪链接

为了抓取网上尽量多的页面，查找引擎蜘蛛会跟踪页面上的链接，从一个页面爬下一个页面，就好像螂蛛在蜘蛛网上匍匐那样，这也就是查找引擎蜘蛛这个称号的由

整个互联网是由相互链接的网站及页面组成的。从理论上说，蜘蛛从任何一个页出发，顺着链接都能够匍匐到网上的一切页面。当然，由于网站及页面链接结构异杂，蜘蛛需要采纳一定的匍匐战略才干遍历网上一切页面。

最简单的匍匐遍历战略分为两种，一种是深度优先，另一种是广度优先。

所谓深度优先，指的是蜘蛛沿着发现的链接一向向前匍匐，直到前面再也没有其链接，然后返回到第一个页面，沿着另一个链接再一向往前匍匐。

如图2-25所示，蜘蛛跟踪链接，从A 页面匍匐到A1、A2、A3、A4，到A4页面现已没有其他链接能够跟踪就返回A 页面，顺着页面上的另一个链接，匍匐到 B1、BB3、B4。在深度优先战略中，蜘蛛一向爬到无法再向前，才返回爬另一条线。

广度优先是指蜘蛛在一个页面上发现多个链接时，不是顺着一个链接一向向前,是把页面上一切第一层链接都爬一遍，然后再沿着第二层页面上发现的链接爬向第页面。

如图2-26 所示，蜘蛛从A 页面顺着链接匍匐到 A1、B1、C1 页面，直到A页面的一切链接都匍匐完，然后再从A1 页面发现的下一层链接，匍匐到A2、A3、A4、页面。

从理论上说，无论是深度优先仍是广度优先，只要给蜘蛛足够的时刻，都能飞个互联网。在实际作业中，蜘蛛的带宽资源、时刻都不是无限的，也不可能爬元面。实际上最大的查找引擎也仅仅匍匐和收录了互联网的一小部分。