搜索引擎工作的步是爬行；搜索引擎的蜘蛛相當于普通用戶在爬行網(wǎng)頁時使用的瀏覽器。當搜索引擎訪問頁面時，服務器返回HTML代碼，spider程序?qū)⒔邮盏降拇a存儲到原始頁面數(shù)據(jù)庫中。為了提高爬行和抓取的速度，搜索引擎使用多個蜘蛛同時爬行。當蜘蛛訪問任何網(wǎng)站時，它們首先訪問網(wǎng)站根目錄中的robots.txt文件。如果robots.txt文件阻止搜索引擎抓取某些文件或目錄，則爬行器將遵循協(xié)議，而不會抓取被禁止的頁面。整個互聯(lián)網(wǎng)由相互連接的網(wǎng)站和網(wǎng)頁組成。理論上，蜘蛛可以沿著鏈接從任何頁面爬行到網(wǎng)站上的所有頁面。其中，簡單的爬行遍歷策略分為兩種，一種是深度優(yōu)先，另一種是廣度優(yōu)先。無論是深度優(yōu)先還是廣度優(yōu)先，只要給蜘蛛足夠的時間，它們就可以爬上整個互聯(lián)網(wǎng)。在實際工作中，蜘蛛的帶寬資源和時間并不是無限的，不可能爬過很多頁面。搜索引擎蜘蛛捕獲存儲在原始頁面數(shù)據(jù)庫中的數(shù)據(jù)。頁面數(shù)據(jù)與用戶瀏覽器獲得的HTML完全相同。每個URL都有一個的文件號。

“預處理”也稱為“索引”，因為索引是預處理的主要步驟。搜索引擎蜘蛛抓取原始頁面，不能直接用于查詢排名處理。它必須經(jīng)過預處理階段才能從HTML文件中刪除標記和程序，并提取可用于排名處理的web頁面的文本內(nèi)容。蜘蛛對提取的中文單詞進行分割，去除停止詞，消除噪聲，消除重復，提取網(wǎng)頁中的重要單詞，建立關(guān)鍵詞和網(wǎng)頁索引，形成索引詞表。在索引建立過程中，有正向索引和反向索引兩種排序方法，使得排序更加準確。另外，鏈路關(guān)系的計算也是預處理的一個重要部分。目前主流搜索引擎的排名因素都包括網(wǎng)頁之間的鏈接流信息。搜索引擎抓取頁面內(nèi)容后，必須提前計算：頁面上的哪些鏈接指向哪些其他頁面，哪些頁面導入鏈接，哪些描述性文本用于鏈接，這些復雜的鏈接指向關(guān)系形成了網(wǎng)站和頁面的鏈接權(quán)重。

當搜索引擎蜘蛛抓取頁面，索引程序計算出反向索引后，搜索引擎隨時可以處理用戶的搜索需求。搜索引擎主要處理用戶搜索詞的中文分詞，停止文字處理、指令處理、拼寫錯誤糾正、搜索懲罰整合等處理，使搜索詞與搜索引擎索引詞表匹配，建立排名。

搜索引擎排名的基本原則是關(guān)于以上三點。隨著搜索引擎的標準化，排名原則更加智能化，SEO變得更加難以操作。不過，所有排名的核心都是圍繞用戶的需求進行排名，所以要做好體驗來滿足需求，而你的網(wǎng)站離首頁也不遠。