一般來(lái)說，阻止搜索引擎被收錄可能會(huì)成為一個(gè)搜索引擎優(yōu)化問題。對(duì)于seo來(lái)說，讓搜索引擎捕獲和索引更多的內(nèi)容是一個(gè)常見的難題。沒有收錄和索引，就談不上排名。特別是對(duì)于具有一定規(guī)模的網(wǎng)站來(lái)說，將上海SEO網(wǎng)站全面收錄是一項(xiàng)相當(dāng)費(fèi)勁的SEO技術(shù)。例如，當(dāng)頁(yè)面達(dá)到幾時(shí)，無(wú)論網(wǎng)站架構(gòu)如何設(shè)計(jì)和優(yōu)化，都不可能收集，只有收集率才能得到盡可能的提高。

但有時(shí)如何防止搜索引擎收錄也可能成為一個(gè)問題，網(wǎng)站不收錄近年來(lái)已經(jīng)成為越來(lái)越多的SEO問題。需要屏蔽的信息，如機(jī)密信息、復(fù)制內(nèi)容、廣告鏈接等。在過去，常用的防止包含的方法包括密碼保護(hù)、將內(nèi)容隱藏在表單后面、使用JS/Ajax、使用flash等。

幾年來(lái)，谷歌一直試圖搶占flash內(nèi)容。簡(jiǎn)單的文本內(nèi)容已經(jīng)可以被抓取。flash中的鏈接也可以被跟蹤。

googlespider還可以填寫表單和獲取post請(qǐng)求頁(yè)面。這可以在日志中看到。

使用JS鏈接一直被認(rèn)為是一種對(duì)搜索引擎不友好的方法，因此可以防止蜘蛛爬行。但兩三年前，我看到JS鏈接無(wú)法阻止googlespider爬行。不僅會(huì)對(duì)JS中出現(xiàn)的url進(jìn)行爬網(wǎng)，還可以執(zhí)行簡(jiǎn)單的JS來(lái)查找更多的url。

日前，人們發(fā)現(xiàn)，許多網(wǎng)站優(yōu)化后的Facebook評(píng)論插件中的評(píng)論被抓取并包含在內(nèi)。插件本身是一個(gè)Ajax。這是個(gè)好消息。我的一個(gè)實(shí)驗(yàn)性電子商務(wù)網(wǎng)站的產(chǎn)品評(píng)論功能為此付出了很多努力。使用Facebook評(píng)論插件有很大的好處。具體的好處稍后會(huì)有時(shí)間來(lái)說明，的問題是審查是由Ajax實(shí)現(xiàn)的，無(wú)法捕獲，而產(chǎn)品審查是作為目的之一（生成原始內(nèi)容）包括在內(nèi)的。我想了很長(zhǎng)一段時(shí)間，沒有一個(gè)解決方案，所以我不得不打開Facebook評(píng)論插件，打開購(gòu)物車的評(píng)論功能。既然Facebook評(píng)論中的評(píng)論可以包含在內(nèi)，就沒有兩套評(píng)論功能了。

目前，確保內(nèi)容不被包含的方法是禁止robots文件。但也有一個(gè)缺點(diǎn)，就是重量會(huì)減少，雖然內(nèi)容不能包含在內(nèi)，但頁(yè)面卻成了一個(gè)只接受鏈接重量而不流出重量的無(wú)底洞。

Nofollow不保證不包括在內(nèi)。即使你的網(wǎng)站上的所有鏈接都添加了NF，你也不能保證其他高等網(wǎng)站不會(huì)鏈接到這個(gè)頁(yè)面。搜索引擎仍然可以找到這個(gè)頁(yè)面。

為了防止集合轉(zhuǎn)移權(quán)重，我們可以在頁(yè)面上使用元索引和元流，這樣頁(yè)面就不被包含，而是可以流出權(quán)重。的確，這是一個(gè)更好的方法。還有一個(gè)問題，否則會(huì)浪費(fèi)蜘蛛爬行的時(shí)間。哪位讀者有辦法防止收藏，不減肥，不浪費(fèi)爬行時(shí)間，請(qǐng)留言，這對(duì)SEO是很有價(jià)值的。