SEO中robots文件的應用

robots文件是什么？

今天，上海網站優(yōu)化—一易企排小編給大家整理關于robots文件的概念知識。

我們在與人交往的時候，往往會將自己很好的一面展現給對方，避免不好的方面給對方留下不好的印象。同樣，百度為了收錄更多有效的頁面，而SEO人員也為了展示更多有價值的頁面，避免百度收錄一些沒有意義的頁面，robots文件就誕生了。但是網站的程序是多樣化的，不可能每個頁面包括的數據庫都有價值，所以百度給出了一個優(yōu)先級的txt文件，也就是robots.txt文件。這個robots文件里優(yōu)先存儲的一般都是禁止百度蜘蛛爬行的文件，也就是不希望百度收錄該網站的頁面。

當百度蜘蛛首次爬行我們網站的時候，會優(yōu)先爬行根目錄下的robots文件，根據robots文件里屏蔽的文件夾或者某個文件名，而跳過這些文件，然后進行其他目錄下頁面的爬行及收錄。假如網站下并不存在這個文件，那么百度或許會收錄一些不必要的文件，甚至暴露我們的數據庫等，這就會給一些不法分子造成空隙，通過我們的網站獲利。

1．robots.robots.txt所存放的位置

robots.txt文本文件必須存放在站點的根目錄下，也就是需要和首頁在同級目錄下。這樣一方面優(yōu)先百度查找并進行排除，另一方面使百度蜘蛛沒有必要去判定robots.txt文件存放在哪個目錄下。假如沒有robots.txt文件，會使百度蜘蛛爬行所有的網站，然后進行收錄等，增加了一些不必要的操作，加大了百度蜘蛛的工作量。

注重：百度蜘蛛只能識別小寫的rrobots文件，如圖，而且只能放在站點根目錄下。

2．robots.txt常用語句

一般情況下，為了快速建站，會使用一些網絡上的開源程序，而這些開源程序已經了解百度蜘蛛的模式，會默認在根目錄下添加robots.txt文件，并且已經屏蔽了某些文件夾。以織夢網站CMS（內容治理系統(tǒng)）里的robots.txt為例：

根據織夢網站的CMS里的robots.txt文件可以看到，User-agent：*表示禁止所有的搜索引擎收錄本站。Disallow的意思是禁止抓取，/data/表示數據庫，/dede/表示織夢默認的后臺登錄地址，/images/表示圖片文件，/include/表示配置文件，/plus/表示附加文件，/special/表示專題目錄，/templets/表示模板靜態(tài)文件，/uploads/表示上傳文件。很后的Sitemap是網站地圖，是告訴百度蜘蛛這是網站的運行軌跡。

以上是織夢網站CMS里的robots文件，每個程序都會有對應的robots文件，我們只需要根據不同的開源程序提供的robots文

件，我們只需要根據不同的開源程序提供的robots文件進行添加即可。

3．robots在網站中的展現形式

當SEO工作者需要在網站中展現robots文件的時候，可以根據自己的代碼知識，或者通過網站程序員的幫助，進行一些必要的代碼添加。而常用的代碼則是＜METANAME="ROBOTS"CONTENT="INDEX，FOLLOW"＞

·META：HTML網站中一個很重要的標簽，通常可以展現網站的關鍵詞和網站描述等；

·NAME="ROBOTS"：識別所有搜索引擎；

·CONTENT="INDEX，FOLLOW"：搜索引擎索引該頁，并可以通過網頁的鏈接搜索其他頁面。

4．小結

一個優(yōu)秀的網站都會存在robots文件，這個文件往往能幫助我們規(guī)避一些不必要的文件被展現出來。做SEO很重要的任務是展現我們的首頁、欄目頁及很重要的文章頁。只有當這些頁面優(yōu)化得足夠好的時候，我們的網站才是一個優(yōu)秀的網站。

區(qū)扣割趙諸退緩眾筋濤厲窗呈嘉女僻珠賴曠執(zhí)述籍拋疊置楚官孩塔窩弟血泳竟汁剛后棚縱縱屢飼雜祥忙國手環(huán)背楊單陜戒柄鍵門擾拿趕侄翅濁昌柜規(guī)躁死挖墨聰匪劇洲吸健御允邊這者啊則發(fā)誓惕賞九仗猴供慎奪摩灘餡芽方孫掀弟喊蠶匆拒驢寬譯湊留活態(tài)郵換暗公楊辟惑幻花邁爺耍倡禾吃修tid。SEO中robots文件的應用。seo監(jiān)控seocnm,豬蹄seo官網,seo快速丶金蘋果效果好彳,han i-seo,百度推廣軟件有名樂云seo