網(wǎng)站日志應(yīng)該分析哪些數(shù)據(jù)？從基本信息、目錄抓取、時段抓取、IP抓取、狀態(tài)碼等方面進(jìn)行分析
一是基本情況
下載一個網(wǎng)站日志文件工具，獲取基本信息：爬行總量、停留時間（H）和訪問次數(shù)；通過這三個基本信息，我們可以計算出：每次爬行的平均頁面數(shù)、單頁爬行的停留時間，然后利用MSSQL提取爬行器的爬行量，并根據(jù)上述數(shù)據(jù)計算爬行器的重復(fù)爬行率
統(tǒng)計一段時間的數(shù)據(jù)，可以看出整體趨勢是什么，這樣就可以發(fā)現(xiàn)問題，可以調(diào)整網(wǎng)站的整體策略。以下是網(wǎng)站管理員的基本日志信息示例：
從日志的基本信息來看，我們需要看到其整體趨勢的調(diào)整，哪些方面需要加強(qiáng)。
從這個整體趨勢來看，我們可以看到爬行總量在下降，所以我們需要做一些相應(yīng)的調(diào)整。
總的來說，重復(fù)爬行的比率上升了一點(diǎn)。這需要一些細(xì)節(jié)，更多的爬行入口，以及機(jī)器人和nofollow技能的使用。
爬蟲單側(cè)駐留時間，一旦看到一篇軟文，網(wǎng)頁加載速度如何影響SEO流量；提高網(wǎng)頁加載速度，減少爬蟲單側(cè)駐留時間，可以貢獻(xiàn)爬蟲的總抓取量，進(jìn)而增加網(wǎng)站的收錄量，從而提高網(wǎng)站的整體流量。從16號到20號服務(wù)器出現(xiàn)了一些問題。調(diào)整后，速度明顯加快，單頁停留時間相應(yīng)縮短。
相應(yīng)調(diào)整如下：
從本月的整理情況看，爬蟲的抓取量在減少，重復(fù)抓取率在增加。綜合分析需要從站內(nèi)外環(huán)節(jié)進(jìn)行調(diào)整。網(wǎng)站中的鏈接應(yīng)與錨文本盡可能多。如果你不能，你可以推薦其他頁面上的超鏈接，這樣蜘蛛就可以盡可能深入地捕捉它們。因此，非網(wǎng)站鏈接需要以多種方式發(fā)布。目前，平臺太少。如果深圳新聞網(wǎng)、上國網(wǎng)等網(wǎng)站出現(xiàn)錯誤，我們的網(wǎng)站將受到嚴(yán)重影響。站外平臺要寬，發(fā)布的鏈接要多樣化，不能直接發(fā)到主頁的要加強(qiáng)。目前，站外平臺太少。近10W的外部鏈接集中在幾個平臺上。
第二，目錄抓取
使用MSSQL提取爬蟲爬網(wǎng)的目錄，并分析每天爬網(wǎng)的目錄數(shù)量。您可以清楚地看到每個目錄的爬行情況。另外，還可以比較之前的優(yōu)化策略，優(yōu)化是否合理，關(guān)鍵列優(yōu)化是否達(dá)到預(yù)期效果。
綠色：主列黃色：差抓粉色：差抓深藍(lán)色：需要禁止列
我們可以看到，整體趨勢沒有太大變化，只是兩欄的截圖有了很大的變化。
總體把握較少。在主欄中，抓取較少的是：XXX，XXX，XXX。一般來說，我們需要增加整個網(wǎng)站的導(dǎo)入端口，配合外鏈，加強(qiáng)站內(nèi)的內(nèi)部鏈接建設(shè)。對于薄弱環(huán)節(jié)，要加強(qiáng)處理。同時，將深藍(lán)的欄目寫入機(jī)器人進(jìn)行屏蔽，并將網(wǎng)站導(dǎo)入這些欄目進(jìn)行URL nofollow，避免權(quán)重只進(jìn)不出。
三是時段捕捉
通過Excel中的數(shù)組函數(shù)，提取爬蟲每日抓取的時間段，重點(diǎn)對每日抓取進(jìn)行分析，找到對應(yīng)抓取更密集的時間段，可以有針對性地更新內(nèi)容。同時，可以看出抓取異常。
某一天哪個時點(diǎn)有問題，而且也是總把握是下降趨勢。
通過時間段抓取，我們做了相應(yīng)的調(diào)整：
通過圖中的表色，我們可以看出服務(wù)器并不是特別穩(wěn)定。我們需要加強(qiáng)服務(wù)器的穩(wěn)定性。另外，17、18、19三天，連續(xù)攻擊，掛鏈，但爬行正常，這說明這些網(wǎng)站都造成了一定的影響！
第四，IP段抓取
通過MSSQL在日志中提取爬蟲的IP，通過Excel進(jìn)行統(tǒng)計，每天每個IP的抓取量，我們也需要整體來看，如果IP段沒有明顯的變化，那么網(wǎng)站的提升權(quán)問題不大。因?yàn)榕老x的IP段在網(wǎng)站升級或降權(quán)時會發(fā)生變化。
五是狀態(tài)碼的統(tǒng)計
在此之前，您需要知道HTTP狀態(tài)碼返回值表示什么。
如果一個網(wǎng)站被搜索引擎爬網(wǎng)的次數(shù)和頻率較多，那么更有利于排名，但是如果你的網(wǎng)站出現(xiàn)次數(shù)過多，那么就會降低搜索引擎的頻率和頻率，從而使你的網(wǎng)站排名比別人低一步。調(diào)整：服務(wù)器可以清除下一個緩存。
百度爬蟲數(shù)據(jù)圖，密密麻麻的數(shù)據(jù)，以上所有數(shù)據(jù)都是從這里調(diào)用的