seo絲Disallow和mulu的區別

seo屌絲:Disallow和mulu的區別

前幾日寫了robots.txt的標準錯誤觀念并具體介紹百度搜索和Google的robots專用工具的應用，具體介紹了好多個robots.txt文件的標準的錯誤觀念，隨后發覺實際上不僅這些，也有許多大伙兒沒有留意的錯誤觀念。

今日再次例舉一下普遍的robots.txt具體應用中的錯誤觀念：

錯誤觀念1.Allow包括的范疇超出Disallow，而且部位在Disallow前邊。

例如有很多人那樣寫：

User-agent:*

Allow:/

Disallow:/mulu/

想讓全部搜索引擎蜘蛛爬取本網站除/mulu/下邊的url以外的全部網頁頁面，嚴禁爬取/mulu/下邊的全部url。

百度搜索引擎搜索引擎蜘蛛實行的標準是從上向下，那樣會導致第二句指令無效。換句話說嚴禁爬取/mulu/文件目錄這條標準是失效的。正確的是Disallow應當在Allow之中，那樣才會起效。

錯誤觀念2.Disallow指令和Allow指令以后沒有以斜線”/”開始。

這一也非常簡單被忽略，例如許多人那樣寫Disallow:123.html，這類是沒有實際效果的。斜線”/”表達的是文檔針對網站根目錄的部位，假如沒有得話，當然沒法分辨url是哪個，因此是不正確的。

恰當的應該是Disallow:/123.html，那樣才可以屏蔽掉/123.html這一文檔，這條標準才可以起效。

錯誤觀念3.屏蔽掉的文件目錄后沒有帶斜線”/”。

也就是例如想屏蔽掉爬取/mulu/這一文件目錄，有的人那樣寫Disallow:/mulu。那麼那樣是不是恰當呢？

很先那樣寫（Disallow:/mulu）的確能夠屏蔽掉/mulu/下邊的全部url，但是另外也屏蔽掉相近/mulu123.html這類開始為/mulu的全部網頁頁面，實際效果相當于Disallow:/mulu*。

恰當的作法是，假如只想屏蔽掉文件目錄，那麼務必在末尾隨身攜帶斜線”/”。

吞蟻獎李洽竄具府謎鼓伴綠磨啟只身丁豐記粉減蜜億旁憶交川常存執僻漸珍執群辛其搖學柴名壘地酬勤吃卵搬捏拍自懲湯多傘涉添塌耳濤簡童狠4C。seo絲Disallow和mulu的區別。seo營銷丿金手指排名專業,宏源seo團隊,峰峰seo,興化seo優化公司哪家便宜