一、幾乎很多站點(diǎn)都無(wú)法避免死鏈接的存在，但高死鏈接率會(huì)影響搜索引擎對(duì)網(wǎng)站的評(píng)價(jià)。
二、搜索引擎僅限于每天抓取每個(gè)網(wǎng)站的頻率。如果網(wǎng)站有很多死鏈接，就會(huì)浪費(fèi)抓取配額，影響正常頁(yè)面的抓取。
三、過(guò)多的死鏈對(duì)網(wǎng)站用戶來(lái)說(shuō)也是一個(gè)糟糕的表現(xiàn)。
百度站長(zhǎng)工具有一個(gè)抓取異常，那么這個(gè)工具是如何產(chǎn)生異常數(shù)據(jù)的呢？
編輯錯(cuò)誤或程序員的粗心大意使頁(yè)面產(chǎn)生一個(gè)沒(méi)有頁(yè)面的URL。
由于程序或頁(yè)面調(diào)整或修訂，無(wú)法打開(kāi)原始正常頁(yè)面
由于程序更改，無(wú)法打開(kāi)某些正常頁(yè)。
由于服務(wù)器、空間或程序問(wèn)題，無(wú)法訪問(wèn)網(wǎng)站，因此抓取異常中將出現(xiàn)大量500個(gè)錯(cuò)誤頁(yè)。
當(dāng)單個(gè)爬蟲(chóng)程序提取頁(yè)面URL時(shí)，它們只提取URL的一部分或正常URL之后的文本或字符。
由于網(wǎng)站修改過(guò)程中處理不當(dāng)，導(dǎo)致一些舊頁(yè)面無(wú)法訪問(wèn)，或者網(wǎng)站管理員刪除被黑、被廣告、過(guò)期、被水淹的頁(yè)面。
1、除了檢索錯(cuò)誤頁(yè)之外，許多錯(cuò)誤頁(yè)都是由于程序員的粗心大意或我們程序的問(wèn)題造成的。它們應(yīng)該是普通的頁(yè)面，因?yàn)橛捎阱e(cuò)誤而無(wú)法訪問(wèn)它們。對(duì)于這樣的頁(yè)面，請(qǐng)盡快修復(fù)。
2、提交死鏈接，但必須有許多錯(cuò)誤的網(wǎng)頁(yè)，不應(yīng)該存在。那么我們需要找到一種獲取此類(lèi)頁(yè)面的URL的方法，主要有三種方式：
（1） 百度站長(zhǎng)工具-抓取異常-頁(yè)面未找到-復(fù)制數(shù)據(jù)[修復(fù)：這里不需要提交死鏈，百度站長(zhǎng)工具自動(dòng)提交死鏈]；
（2） 管理員在刪除頁(yè)面時(shí)手動(dòng)或自動(dòng)保存被刪除頁(yè)面的URL；
（3） 使用相關(guān)的爬蟲(chóng)軟件對(duì)整個(gè)站點(diǎn)進(jìn)行爬蟲(chóng)，獲得死鏈，如Xenu。
然后將上面處理的數(shù)據(jù)粘貼到網(wǎng)站根目錄下的文檔中，并將文檔地址提交到百度站長(zhǎng)工具-網(wǎng)頁(yè)抓取-死鏈提交-添加新數(shù)據(jù)-填寫(xiě)死鏈文件地址。
將規(guī)則添加到robots文件后，必須到百度站長(zhǎng)的robots工具進(jìn)行驗(yàn)證，將指定的錯(cuò)誤頁(yè)面放入，查看阻塞是否成功，然后將正常頁(yè)面放入，查看是否被錯(cuò)誤阻塞。
相關(guān)注意事項(xiàng)：
一、在百度站長(zhǎng)工具中提交死鏈之前，請(qǐng)確保提交的死鏈數(shù)據(jù)中沒(méi)有活動(dòng)鏈接，或者有一個(gè)HTTP狀態(tài)代碼不是404的頁(yè)面。一旦有一個(gè)活動(dòng)鏈，它將顯示提交失敗，無(wú)法刪除。
二、由于很多網(wǎng)站程序問(wèn)題，很多無(wú)法打開(kāi)的頁(yè)面返回碼都不是404，這是一個(gè)很大的問(wèn)題。例如，無(wú)法打開(kāi)的頁(yè)的返回碼是301、200、500。如果他們是200，不同的網(wǎng)址將出現(xiàn)在網(wǎng)站上，以獲得相同的內(nèi)容。例如，在我的一個(gè)網(wǎng)站上，社區(qū)帖子被刪除后，返回代碼實(shí)際上是500。后來(lái)，我發(fā)現(xiàn)了，立即處理。我們?cè)噲D找出所有錯(cuò)誤的URL格式，并在打開(kāi)后將HTTP狀態(tài)代碼設(shè)置為404。
三、在找到所有錯(cuò)誤的頁(yè)面后，一定要找到這些頁(yè)面的URL的相同特性，并將它們與普通頁(yè)面的特性區(qū)分開(kāi)來(lái)。將相應(yīng)的規(guī)則寫(xiě)入robots文件，并禁止spider獲取它們。即使你已經(jīng)在網(wǎng)站管理員工具中提交了死鏈，建議機(jī)器人攔截并抓取它們。
四、機(jī)器人只能解決蜘蛛不再抓取這樣的頁(yè)面的問(wèn)題，但不能解決刪除已經(jīng)抓取的頁(yè)面快照的問(wèn)題。如果你的網(wǎng)站是黑色的，并且你刪除了黑色頁(yè)面，除了機(jī)器人阻止了黑色頁(yè)面外，你還應(yīng)該將這些頁(yè)面提交到死鏈。提交死鎖是刪除黑頁(yè)快照的快方式。