蜘蛛爬行相當(dāng)于遍歷網(wǎng)絡(luò)的有向圖,因此一個(gè)結(jié)構(gòu)簡(jiǎn)單清晰的網(wǎng)站一定是它,并盡量保證蜘蛛的可讀性。(1) 樹(shù)形結(jié)構(gòu)的結(jié)構(gòu)是“首頁(yè)-頻道-詳情頁(yè)”;(2) 從平面首頁(yè)到細(xì)節(jié)頁(yè)的層次盡可能小,便于抓取,能很好地轉(zhuǎn)移權(quán)重。(3) 網(wǎng)狀網(wǎng)保證每個(gè)頁(yè)面至少有一個(gè)文本鏈接指向,可以使網(wǎng)站盡可能全面地被抓取收錄,對(duì)鏈的構(gòu)建也可...