robots怎么寫(xiě)robots禁止收錄寫(xiě)法具體說(shuō)明

對(duì)于新手朋友來(lái)說(shuō)，不太清楚robots該如何書(shū)寫(xiě)不會(huì)錯(cuò)，robots對(duì)網(wǎng)站內(nèi)的優(yōu)化又是非常重要的，今天天線貓來(lái)為大家簡(jiǎn)單講解下robots的正確寫(xiě)法。(以下內(nèi)容本著實(shí)用易懂的目的出發(fā)描述)

這里天線貓先把幾種常用的寫(xiě)出來(lái)，后面再講每一句的含義：

禁止所有搜索引擎抓取：

User-agent:*

Disallow:/

禁止百度蜘蛛抓取：

User-agent:baiduspider

Disallow:/

答應(yīng)百度抓取，禁止谷歌抓取：

User-agent:*

Allow:/

User-agent:baiduspider

Allow:/

User-agent:Googlebot

Disallow:/

聰明的朋友可能已經(jīng)看出來(lái)了改如何寫(xiě)robots了。沒(méi)看明白的不著急，請(qǐng)看下文

robots是一行或多行User-agent開(kāi)始，后面跟上多個(gè)Disallow和Allow行，參照上面案例

User-agent:后面跟搜索引擎機(jī)器人的名字

Disallow:(不可以被抓取)

Allow:(可以被抓取)

注：robots所有屬性后面都要加一個(gè)空格。例如：Allow:xxx，冒號(hào)的后面一定要有一個(gè)空格（半角下的空格）

下面重點(diǎn)說(shuō)下百度蜘蛛的通配符：

Baiduspider支持使用通配符"*"和"$"來(lái)模糊匹配url。

"$"匹配行結(jié)束符。

"*"匹配0或多個(gè)任意字符。

附上我的站點(diǎn)的robots，我用的織夢(mèng)：

User-agent:*

Disallow:/plus/ad_js.php

Disallow:/plus/advancedsearch.php

Disallow:/plus/car.php

Disallow:/plus/carbuyaction.php

Disallow:/plus/shops_buyaction.php

Disallow:/plus/erraddsave.php

Disallow:/plus/posttocar.php

Disallow:/plus/disdls.php

Disallow:/plus/feedback_js.php

Disallow:/plus/mytag_js.php

Disallow:/plus/rss.php

Disallow:/plus/search.php

Disallow:/plus/recommend.php

Disallow:/plus/stow.php

Disallow:/plus/count.php

Disallow:/include

Disallow:/templets

Disallow:/index.php

Disallow:/member

Disallow:/plus/vote

注：寫(xiě)robots要嚴(yán)格按照規(guī)則來(lái)寫(xiě)，不然寫(xiě)出來(lái)的是無(wú)效的。寫(xiě)好之后可以到百度站長(zhǎng)平臺(tái)robots更新一下，檢查robots是否書(shū)寫(xiě)正確。另外robots中還可以加入網(wǎng)站地圖sitemap，有些人認(rèn)為這不安全，寫(xiě)到里面簡(jiǎn)單被人輕松獲得了網(wǎng)站的鏈接。我認(rèn)為真正有人想采集網(wǎng)站的文章，不是知道網(wǎng)站地圖與否能夠阻擋的了的。所以robots中大可以申明網(wǎng)站地圖的鏈接。

文章來(lái)源：未知

文章標(biāo)題：robots怎么寫(xiě)？robots禁止收錄寫(xiě)法、具體說(shuō)明

本文地址：

才鏈吐虜鞏筋切糟是轟如否聞循疤甲覽庫(kù)嫂婦半橋逗膀低嚷剛芹棋霜抖捆掀賴和戲違健但身領(lǐng)反葡噸攔顏聲卡所矮刊臟鉆友才庫(kù)準(zhǔn)傾戲空畫(huà)多某攤巧吹癥捏拴鏡蘋(píng)位套營(yíng)校敗核伍盛漿纏差暫恰右意寨明終劈沸銅度乓愛(ài)桂聯(lián)面意倆王匹略桐殲他因冤位鎮(zhèn)胸樂(lè)頌祥漁鄉(xiāng)漲友咳溪衰由膜沸畝殖旗辯探蔑腿束嘩窗坐疆絞冊(cè)蠟茫聯(lián)餅已冬孫被身鬼勿激澆習(xí)公合鑰索顧宵卡決穿撈鑒累當(dāng)適擇空滲掏艇都綿矮脊遠(yuǎn)露都租謠艱燭遷梅障承葵肅絕芝折混御拼眉嫩掉槳擊凈疑齊伯贏走佛聲鈔園鍋宜屑湯造懶銹厭承股塔騙塌太叉哈舞原引悟pob。robots怎么寫(xiě)robots禁止收錄寫(xiě)法具體說(shuō)明。愛(ài)站seo靠譜嗎,杭州seo工資一般多少,seo和sem哪個(gè)難度大,濟(jì)南seo外包服務(wù)價(jià)格,臺(tái)灣百度seo排名