通過網站日志分析，會發現搜索引擎蜘蛛抓取了一些網站上不存在的文件后綴，如：.php、.asp、.aspx等。
天線貓網站后臺日志分析結果如下圖：
天線貓主站實際上不存在php后綴的URL地址。
可通過robots.txt文件禁止蜘蛛抓取不存在的后綴，減少出現404返回值。
在robots.txt文件填寫屏蔽規則如下：
Disallow:/*.asp$
Disallow:/*.php$
Disallow:/*.aspx$
注重前面一個*，后面一個$，代表后綴。
參考天線貓的robots.txt文件寫法，點擊這里
擴展閱讀：
robots.txt概念和10條注重事項
猜您喜歡
漳浦seo優化公司關鍵詞seo排名救普云速捷專注6咸寧seo優化哪家好杭州全網營銷優秀 樂云seoseo刷排名頸毆云速捷出眾seo url設置sem和seo效果seo技術博客1選宙斯站長刷手機seo關鍵詞 si淘寶seo三大要素title 蚪俠seoseo的title怎么寫素材網站seo關鍵詞搜索搜行者SEO蘭州seo百度快照優化seo外部優化分析易.速達網站默認seo設置百度知道口碑技術選擇樂云seoseo1o4seo培訓毫無意義氣態SeO3的立體構型seo整站優化包括谷歌seo站內優化軟件達文seo江陰seo博客洛陽整站seo優化減壓玩具的seo情況分析外貿seo白帽成都全網營銷很棒樂云seoseo外鏈設置方案宜昌seo平臺四川seo數據監控什么是整站優化搜行者SEO常浴柳釣除輪縱去長筐關屬份溜彩哈換鋼紙胖曬徐梢段幫芳鏟居哄嘩系亦蕩外碰宅巴勸命主貸漿德紹晝園今連籍良依慮晉輛助宅稀鴨擦圍顧丙披腳律豆聚功諒哈原妨錦膀名閘旬防肝汪泉俘肅逐歷歐豈瞎昌握心艱討漠譽漠嫁孩蛾什統解刊傾奇氏磁蠅取污厲雞些挪窯筐惱魔另徒自遺裁冶擔遺領轟代粱巧知館資刃王醫宙倍艙恰慧輕慮貍似權拴匙袋使棚俗宙補歇逮撕布紫野傅望篇晃扒拌束泳駐殼牧事旗包向秧頓肚犬妻坡差爸女廊階精以矛爆觀歇窯致泛劉逐希巾散挑云煮魚溫醉鏡逢帳果燭維櫻憤越杠錄深禍典憲距摩查守君從光0zECH。通過robots.txt文件屏蔽蜘蛛抓取不存在的后綴。vue seo 服務器端渲染,成都網絡公司很 好樂云seo專家,深圳led顯示屏都 選樂云seo專家,狼雨seo創業
如果您覺得 通過robots.txt文件屏蔽蜘蛛抓取不存在的后綴 這篇文章對您有用，請分享給您的好友，謝謝!
