在前兩天的SEO案例中,代理劫持被提到。有人問發(fā)生了什么事,我今天就解釋。當(dāng)懷有惡意的人看到他們時,他們就有了另一個工具來傷害他人和造福自己。另一方面,對已經(jīng)遭受損失的站長的預(yù)防和恢復(fù)可能具有積極意義。
在瀏覽器中打開URL是沒有問題的,但是如果搜索引擎抓取URL,它將完全復(fù)制原始網(wǎng)站。盡管在大多數(shù)情況下,復(fù)制的內(nèi)容頁面會被忽略,但在某些情況下,如果搜索引擎判斷錯誤,原始版本會受到懲罰,甚至被刪除。
一般來說,不應(yīng)包括通過代理訪問的url。但如果有人惡意鏈接到這個代理URL,搜索引擎也會訪問并獲取它。
如何防止或恢復(fù)被劫持特工的排名?簡單的方法是,如果您看到您的網(wǎng)頁被代理劫持,請檢查該代理服務(wù)器的IP地址,并阻止該IP地址從您的服務(wù)器,并禁止獲取。
但有時代理服務(wù)器的IP地址會發(fā)生變化,代理服務(wù)器太多,可能無法屏蔽。更復(fù)雜的方法是識別服務(wù)器是搜索引擎蜘蛛還是真正的搜索引擎蜘蛛。
在某些情況下,當(dāng)搜索引擎蜘蛛通過代理URL訪問時,瀏覽器(useragent)的類型也是搜索引擎蜘蛛。但是,有些代理服務(wù)器可能會設(shè)置為隱藏原始IP地址和用戶代理,這使得很難確定它是否是搜索引擎蜘蛛。
此時,網(wǎng)站程序需要主動驗(yàn)證訪問者是否是真正的搜索引擎蜘蛛。如果程序被證實(shí)是一個真正的蜘蛛,請返回正常頁面。如果spider不是普通用戶或偽spider,那么返回的頁面都會添加Noindex和nofollow標(biāo)記。這樣,當(dāng)這些原始網(wǎng)頁被代理訪問時,搜索引擎就無法對其進(jìn)行爬網(wǎng)。
今年2月,谷歌在黑板報(bào)和站長博客上發(fā)布了馬特?卡茨的谷歌蜘蛛帖子(馬特?卡茨的原帖不是自己的博客,而是英文版的站長博客),如何驗(yàn)證這篇文章,不是為了玩,而是為了深刻的意義。從目前的零參考鏈接和評論,大多數(shù)人不知道這篇文章是為了什么。
一般來說,搜索引擎應(yīng)該有辦法判斷這種代理劫持行為,否則就會成為一些人陷害競爭對手的簡單方式。然而,任何算法都存在漏洞。即使算法能做出99%的正確判斷,漏掉網(wǎng)絡(luò)的可能導(dǎo)致無辜網(wǎng)站被刪除。我寫這篇文章是為了向許多人介紹它,以便他們能更好地預(yù)防它。我相信每個人都會鄙視這種企圖陷害他人的方法。