看學(xué)習(xí)搜索優(yōu)化的文章，都會(huì)看到蜘蛛這個(gè)詞，它不是我們現(xiàn)實(shí)中的動(dòng)物蜘蛛，它是網(wǎng)絡(luò)中的一個(gè)很形象的專業(yè)名詞，網(wǎng)絡(luò)蜘蛛即Web Spider，互聯(lián)網(wǎng)就像一個(gè)蜘蛛網(wǎng)，那么Spider就是在網(wǎng)上爬來(lái)爬去的蜘蛛。蜘蛛實(shí)際上是一個(gè)以人類無(wú)法達(dá)到的速度不間斷地執(zhí)行訪問(wèn)網(wǎng)絡(luò)上的網(wǎng)站并抓取網(wǎng)站內(nèi)容任務(wù)的軟件程序。而我們所說(shuō)的蜘蛛來(lái)爬網(wǎng)站，即是網(wǎng)站被搜索引擎收錄的過(guò)程。

網(wǎng)絡(luò)蜘蛛，是從網(wǎng)站某一個(gè)頁(yè)面開(kāi)始，讀取網(wǎng)頁(yè)的內(nèi)容，并找到在網(wǎng)頁(yè)中的其它鏈接地址，然后通過(guò)這些鏈接地址找下一個(gè)網(wǎng)頁(yè)，這樣一直循環(huán)下去，直到把這個(gè)網(wǎng)站所有的網(wǎng)頁(yè)都抓取完為止。如果把整個(gè)互聯(lián)網(wǎng)當(dāng)成一個(gè)網(wǎng)站，那么網(wǎng)絡(luò)蜘蛛就可以用這個(gè)原理把互聯(lián)網(wǎng)上所有的網(wǎng)頁(yè)都抓取下來(lái)。