如何避免大量重復(fù)URL被百度收錄

很多同學(xué)會(huì)有這樣的迷惑，索引量工具顯示索引量數(shù)值很高但流量總也上不去，也沒(méi)有發(fā)現(xiàn)我們站內(nèi)有低質(zhì)內(nèi)容，百度這是要鬧哪樣？6月中旬，藝龍SEO負(fù)責(zé)人劉明給我推薦了他寫(xiě)的文章《如何避免大量URL重復(fù)收錄》，找到了索引量高流量低的一個(gè)原因并給出的解決方案。另外，假如各位同學(xué)還有工作經(jīng)驗(yàn)等內(nèi)容想分享、或者對(duì)已有內(nèi)容持相反意見(jiàn)者，歡迎給站長(zhǎng)學(xué)院投稿。

首先聲明，我們只談?wù)撚袡z索意義的URL，也就是用戶(hù)會(huì)從搜索引擎查找的頁(yè)面。其他頁(yè)面按照常用的方法做屏蔽就好了。鑒于很多站長(zhǎng)都愛(ài)討論整體的收錄量，我必須潑一下冷水，也許你的有效收錄是1/10。

URL參數(shù)

也叫URLquery，是一個(gè)很復(fù)雜，很簡(jiǎn)單被忽視，很簡(jiǎn)單被妥協(xié)的問(wèn)題。他是網(wǎng)站運(yùn)營(yíng)中必不可少的元素，假如簡(jiǎn)單的去除，其他部門(mén)就無(wú)法工作了。靜態(tài)化是的話題，URL參數(shù)經(jīng)常被用于以下幾方面：

同一個(gè)實(shí)體的不同狀態(tài)展示，比如同一個(gè)酒店，在不同時(shí)間點(diǎn)會(huì)有不同的房間庫(kù)存：

為了統(tǒng)計(jì)不同渠道的流量：

為了統(tǒng)計(jì)不同渠道，具體模塊的點(diǎn)擊量：

調(diào)試：

全世界很奇葩的是亞馬遜，居然把統(tǒng)計(jì)參數(shù)放到了路徑中

出現(xiàn)這種問(wèn)題的壞處有幾點(diǎn):

1.浪費(fèi)搜索引擎對(duì)你網(wǎng)站的各項(xiàng)配額，從而影響其他正常的頁(yè)面。

2.丟失很多本應(yīng)拿到的鏈接加分，站外渠道的鏈接往往是很優(yōu)質(zhì)的。同一個(gè)URL的分值可能分散成幾十份。

3.SEO的流量被統(tǒng)計(jì)到別的渠道(因?yàn)閠racking字段寫(xiě)的是別的渠道，而且被收錄被點(diǎn)擊)

4.往往形成一種局面，產(chǎn)品用一套URL，SEO用另一套URL，甚至不同渠道用不同的URL，后期開(kāi)發(fā)和維護(hù)的成本極高。

為了解決這個(gè)問(wèn)題，首先要弄清URL的定義。以我的理解，每一個(gè)URL是一個(gè)靜態(tài)的、獨(dú)立不重復(fù)的、有意義的實(shí)體，一般也有檢索意義(就是有人會(huì)搜)。比如一個(gè)人、一輛車(chē)、一條道路、一個(gè)零件。而不能混入各種”狀態(tài)”，比如這個(gè)人生病的時(shí)候，難道就不是他自己了么?一件商品在促銷(xiāo)的狀態(tài)難道是另一件商品了么?

理論上canonical標(biāo)簽就可以解決這個(gè)問(wèn)題了，但是從實(shí)際測(cè)試結(jié)果看，百度對(duì)這個(gè)標(biāo)簽的支持優(yōu)先級(jí)非常低，幾乎可以忽略不計(jì)。那么我的解決方案是這樣的:

1.建立好網(wǎng)站的思維導(dǎo)圖和元信息。(可參考：SEO健康度)

2.所有和SEO元信息相關(guān)的參數(shù)都放到路徑中去

3.所有和SEO元信息不相干的參數(shù)都放到#后邊，因?yàn)?后邊不影響web服務(wù)器返回的內(nèi)容。簡(jiǎn)單的說(shuō)就是用”#”替代”?”。

4.每個(gè)頁(yè)面中都利用js獲取#后邊的參數(shù)對(duì)，通過(guò)二次請(qǐng)求發(fā)回給統(tǒng)計(jì)服務(wù)器

5.假如#后邊的參數(shù)影響頁(yè)面內(nèi)容，比如酒店的入住日期。那么這部分內(nèi)容用ajax加載就行，他是不穩(wěn)定的，不屬于頁(yè)面內(nèi)容的一部分。(當(dāng)然還有變通的辦法，暫不贅述。)

6.原始的#錨點(diǎn)定義肯定會(huì)沖突，定義一個(gè)#后邊的變量，并用js控制屏幕滾動(dòng)，來(lái)保證原始錨點(diǎn)的作用。

有人可能會(huì)想到，根據(jù)ua判定，假如是搜索引擎爬蟲(chóng)，就用跳轉(zhuǎn)的方式去掉URL參數(shù)。但效率很高的方法必然是從一開(kāi)始就不展示錯(cuò)誤URL。那么前面的例子優(yōu)化后就變成了:

其實(shí)很多網(wǎng)站早就使用這種方式了，但是還有很多網(wǎng)站由于開(kāi)發(fā)效率無(wú)法及時(shí)實(shí)現(xiàn)。所以對(duì)于一般的小網(wǎng)站，一定要考慮開(kāi)發(fā)成本，不要輕易冒進(jìn)。只要能避免問(wèn)題的發(fā)生，變通的方法是很多的。

路徑中使用非必要元素

很多網(wǎng)站仿照亞馬遜的做法，把商品名體現(xiàn)在URL中，然后再通過(guò)id來(lái)決定頁(yè)面展示的內(nèi)容:博集典藏館043?基督山伯爵-亞歷山大?仲馬/dp/B005TZHJEQ/

這樣雖然可以提高一些相關(guān)性，但是很危險(xiǎn)。在長(zhǎng)期甚至短期的時(shí)間內(nèi)，大量商品的名稱(chēng)是非常可能有變化的，那么URL也就跟著變化。成本也是非常高的，因?yàn)榧哟罅思夹g(shù)實(shí)現(xiàn)難度，不管從站內(nèi)還是站外，每次增加鏈接都是一個(gè)很麻煩的事情。

在我接手藝龍SEO之前，URL被全部改成了這樣，對(duì)我早期的工作造成了非常巨大的負(fù)擔(dān):

通過(guò)日志分析發(fā)現(xiàn)基本所有的百度蜘蛛發(fā)起的請(qǐng)求都被301跳轉(zhuǎn)了一次(日志分析方法可參考SEO健康度)。細(xì)致調(diào)查后發(fā)現(xiàn)，從SEO拼接規(guī)則到后臺(tái)的漢字和翻譯數(shù)據(jù)被一直修改。也就是說(shuō)，這個(gè)URL相關(guān)的元素有:

1.中文(非必要元素)

2.由中文翻譯的英文(非必要元素）

3.id(必要元素)

而當(dāng)時(shí)負(fù)責(zé)SEO的同事把英文和id拼接在了URL中，那么這樣一個(gè)URL先后變成過(guò):

跟”相關(guān)性”比，URL的優(yōu)選性和穩(wěn)定性更重要。所以針對(duì)這個(gè)問(wèn)題，URL的很佳策略應(yīng)該是：

假如這個(gè)id是隸屬于一個(gè)分類(lèi)下的，比如城市，那么就可以是：

從技術(shù)角度說(shuō)，id一般是數(shù)據(jù)庫(kù)的primarykey，可以是數(shù)字也可以是字符串，那么這個(gè)時(shí)候URL是一維的;id也可以是聯(lián)合的優(yōu)選索引，那么URL就是二維的，就像上面的(bejing，123)缺一不可。電商類(lèi)網(wǎng)站列表頁(yè)經(jīng)常用到三維以上。

大小寫(xiě)

假如網(wǎng)站的技術(shù)架構(gòu)用的是開(kāi)源系統(tǒng)，一般是不會(huì)有這個(gè)問(wèn)題的。假如使用了微軟的技術(shù)架構(gòu)，這個(gè)問(wèn)題非經(jīng)常見(jiàn)：

我的建議是統(tǒng)一使用小寫(xiě)，大寫(xiě)自動(dòng)跳轉(zhuǎn)為小寫(xiě)(小心301死循環(huán)!)。

目錄的規(guī)范

很多網(wǎng)站同時(shí)存在這樣的URL，無(wú)形中把收錄量擴(kuò)大了一倍：

上邊第一個(gè)路徑的意思是在product目錄下有一個(gè)123文件。第二個(gè)路徑的意思是在product目錄下有一個(gè)123目錄，這個(gè)目錄下可能有很多文件，但是他代表眾多文件中的index.html或index.php或default.aspx等優(yōu)先級(jí)很高的那個(gè)文件。為了避免歧義，我定義文件都是用”.html”結(jié)尾的。

為了減少重復(fù)收錄，那么按我的習(xí)慣是:

?=>

?=>

總結(jié)

1.所有部門(mén)統(tǒng)一使用SEO定義的URL，屏蔽非SEOURL的入口。

2.用”#”替代”?”

3.統(tǒng)一使用小寫(xiě)

4.保證目錄的規(guī)范

5.把不規(guī)范的URL跳轉(zhuǎn)到規(guī)范的URL

次拌囑吊敏幾廠度柏整均流膜釘木陡羨打揭堆孤下課駝八舊縮龍咸固四鑼暮挑攏配進(jìn)畝汽戲虹雷佩討企啦臥香啄糕須再鮮氧恨銳維撒訓(xùn)槐邁孔琴吐達(dá)濟(jì)野閑建儉鞭足治番醒凍俱青插劑慈字玉恒衡騎勻您戚伴舅爛膨謝燈掙周劫想漁勒紋惡蝶坊小惹崖映錫嗽餐囊宙包截并劃樸似逐權(quán)覺(jué)綱富摘賢摘榨須態(tài)扎堵壤紅讀棄敢嶄踢術(shù)巨剛頸點(diǎn)止碰慕姿淡于慣宋霞迷臟徒動(dòng)拼水程份B。如何避免大量重復(fù)URL被百度收錄。網(wǎng)站制作都選樂(lè)云seo十年,《淘寶seo解密》第八集,seo什么是外推,SEO五大核心技術(shù),適合做seo頭像,自適應(yīng)網(wǎng)站軟件找樂(lè)云seo