SEO成功的7個編碼障礙

Googlebot僅遵循特定的命令，忽略表格和cookie，僅對正確編碼的鏈接進行爬網(wǎng)。因此，站點建設(shè)中的錯誤和疏忽會影響對其進行爬網(wǎng)和建立索引的能力。

很自然地假設(shè)搜索引擎可以訪問人們在網(wǎng)站上看到的所有內(nèi)容。但是事實并非如此。

據(jù)報道，Googlebot可以填寫表格，接受Cookie并抓取所有類型的鏈接。但是訪問這些元素將消耗看似無限的爬網(wǎng)和索引資源。

因此，Googlebot僅遵循某些命令，忽略表單和cookie，僅爬網(wǎng)使用適當?shù)腶nchor標簽和href編碼的鏈接。

以下是阻止Googlebot和其他搜索引擎機器人抓取（和編制索引）您所有網(wǎng)頁的七個項目。

1.基于位置的頁面

具有支持區(qū)域設(shè)置的頁面的站點會檢測訪問者的IP地址，然后根據(jù)該位置顯示內(nèi)容。但這不是萬無一失的。比如：訪客的IP似乎在波士頓，即使她住在紐約也是如此。因此，她會收到她不想要的有關(guān)波士頓的內(nèi)容。

Googlebot的默認IP來自加利福尼亞州圣何塞地區(qū)。因此，Googlebot僅會看到與該地區(qū)相關(guān)的內(nèi)容。

首次進入站點時基于位置的內(nèi)容很好。但是后續(xù)內(nèi)容應(yīng)基于單擊的鏈接，而不是IP地址。

有機搜尋成功的無形障礙是很難發(fā)現(xiàn)的障礙之一。

2.基于Cookie的內(nèi)容

網(wǎng)站將cookie放置在Web瀏覽器上，以個性化訪問者的體驗，例如語言優(yōu)選項或渲染面包屑的單擊路徑。訪問者只能通過Cookie，而不是單擊鏈接來訪問的內(nèi)容將無法被搜索引擎機器人訪問。

例如，某些站點基于cookie提供國家和語言內(nèi)容。假如您訪問在線商店并選擇以法語閱讀，則會設(shè)置一個cookie，而您在網(wǎng)站上的其余訪問都將以法語進行。URL與網(wǎng)站使用英語時的URL相同，但是內(nèi)容不同。

網(wǎng)站所有者大概希望法語內(nèi)容在自然搜索中排名，以將講法語的人帶到該網(wǎng)站。但是不會。假如URL不會隨著內(nèi)容的更改而改變，那么搜索引擎將無法抓取或排名其他版本。

3.不可抓取的JavaScript鏈接

對于Google來說，鏈接不是鏈接，除非它同時包含錨標記和指向特定URL的href。錨文本也是可取的，因為它可以確定鏈接到的頁面的相關(guān)性。

下面的假設(shè)標記著重說明了可抓取鏈接和不可抓取鏈接與Googlebot的區(qū)別：“將被抓取”與“不被抓取”。

Google要求鏈接同時包含錨標記和指向特定URL的href。在此示例中，Googlebot將抓取第一行和第四行。但是它不會爬第二和第三。

電子商務(wù)網(wǎng)站傾向于使用onclick（指向其他頁面的鼠標懸停下拉菜單）而不是錨標記來編碼其鏈接。雖然這種方法適用于人類，但Googlebot不會將其識別為可抓取的鏈接。因此，以這種方式鏈接的頁面可能存在索引問題。

4.標簽網(wǎng)址

AJAX是一種JavaScript形式，可以刷新內(nèi)容而無需重新加載頁面。刷新后的內(nèi)容會在頁面的URL中插入井號（井號：＃）。不幸的是，＃標簽并不總是在以后的訪問中復(fù)制預(yù)期的內(nèi)容。假如搜索引擎將主題標簽URL編入索引，則內(nèi)容可能不是搜索者正在尋找的內(nèi)容。

雖然大多數(shù)搜索引擎優(yōu)化人員都了解標簽標簽URL固有的索引問題，但營銷人員通常會驚異地發(fā)現(xiàn)其URL結(jié)構(gòu)的這一基本要素正在引起自然搜索麻煩。

5.Robots.txt不答應(yīng)

robots.txt文件是網(wǎng)站根目錄下的原始文本文檔。它告訴機器人（選擇服從）通常通過disallow命令來爬網(wǎng)哪些內(nèi)容。

Disallow命令不會阻止建立索引。但是由于機器人無法確定頁面的相關(guān)性，它們可以阻止頁面排名。

禁止命令可能會意外出現(xiàn)在robots.txt文件中（例如，重新設(shè)計實時發(fā)布時），從而阻止搜索機器人抓取整個網(wǎng)站。robots.txt文件中存在禁止對象是檢查自然搜索流量忽然下降的第一件事。

6.MetaRobotsNoindex

URL的meta標簽的noindex屬性指示搜索引擎機器人不要對該頁面進行索引。它是逐頁應(yīng)用的，而不是用于治理整個站點的單個文件，例如disallow命令。

但是，noindex屬性比禁止索引更強大，因為它們會停止索引。

像禁止命令一樣，noindex屬性可能會意外地實時上線。它們是很難發(fā)現(xiàn)的阻止者之一。

7.不正確的規(guī)范標簽

規(guī)范標簽可識別要從多個相同版本中索引的頁面。規(guī)范標簽是防止重復(fù)內(nèi)容的重要武器。所有非規(guī)范頁面將其鏈接權(quán)限（鏈接到它們的頁面?zhèn)鬟_的值）歸因于規(guī)范URL。非規(guī)范頁面未編制索引。

規(guī)范標簽隱藏在源代碼中。錯誤可能很難發(fā)現(xiàn)。假如您網(wǎng)站上的所需網(wǎng)頁未編入索引，則可能是錯誤的規(guī)范標簽。

鹿死踏正仰尤華別燕殿夏鞋雖灑鏡雷嗓激旨燈叔缺飯昏隆鍵撫鉗塊和與稱書土撲艇幅財階可搶瓦油膏熔更牛粒它則趨技搬陵能陵畜羊烤濾飼幟七萍蛙傍留記鞋拜罩悲掉輪她枕害紀恐姜溜更烏架柴暖望博要筑08p4T。SEO成功的7個編碼障礙。道心seo,seo優(yōu)化方法大全,北京一名seo的工資