利用Robots.txt優化你的WordPress站點

知更鳥
知更鳥
知更鳥
1518
文章
6913
評論
2015年4月11日11:03:18 84 31.7K

利用Robots.txt優化你的WordPress站點

很多建站新手對robots.txt文件的重要作用不是很清楚,利用這篇文章普及一下WordPress站點robots.txt文件編寫知識。

Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲排除標準”(Robots Exclusion Protocol),網站通過Robots協議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。

搜索引擎機器人訪問網站時,首先會尋找站點根目錄有沒有 robots.txt文件,如果有這個文件就根據文件的內容確定收錄范圍,如果沒有就按默認訪問以及收錄所有頁面。另外,當搜索蜘蛛發現不存在robots.txt文件時,會產生一個404錯誤日志在服務器上,從而增加服務器的負擔,因此為站點添加一個robots.txt文件還是很重要的。

知道Robots協議的作用后,下面具體說一下WordPress站點如何編寫robots.txt文件。

WordPress站點默認在瀏覽器中輸入:http://你的域名/robots.txt,會顯示如下內容:

  1. User-agent:?*
  2. Disallow:?/wp-admin/
  3. Disallow:?/wp-includes/

這是由WordPress自動生成的,意思是告訴搜索引擎不要抓取后臺程序文件。

但這是遠遠不夠的,比較完整的WordPress站點robots.txt文件內容如下:

  1. User-agent:?*
  2. Disallow:?/wp-admin/
  3. Disallow:?/wp-content/
  4. Disallow:?/wp-includes/
  5. Disallow:?/*/comment-page-*
  6. Disallow:?/*?replytocom=*
  7. Disallow:?/category/*/page/
  8. Disallow:?/tag/*/page/
  9. Disallow:?/*/trackback
  10. Disallow:?/feed
  11. Disallow:?/*/feed
  12. Disallow:?/comments/feed
  13. Disallow:?/?s=*
  14. Disallow:?/*/?s=*\
  15. Disallow:?/*?*
  16. Disallow:?/attachment/

使用方法:新建一個名稱為robots.txt文本文件,將上面的內容放進去,然后上傳到網站根目錄即可。

下面分別解釋一下各項的作用:

1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

用于告訴搜索引擎不要抓取后臺程序文件頁面。

2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*

禁止搜索引擎抓取評論分頁等相關鏈接。

3、Disallow: /category/*/page/和Disallow: /tag/*/page/

禁止搜索引擎抓取收錄分類和標簽的分頁。

4、Disallow: /*/trackback

禁止搜索引擎抓取收錄trackback等垃圾信息

5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed

禁止搜索引擎抓取收錄feed鏈接,feed只用于訂閱本站,與搜索引擎無關。

6、Disallow: /?s=*和Disallow: /*/?s=*\

禁止搜索引擎抓取站內搜索結果

7、Disallow:?/*?*

禁止搜索抓取動態頁面

8、Disallow: /attachment/

禁止搜索引擎抓取附件頁面,比如毫無意義的圖片附件頁面。

上面只是些基本的寫法,當然還有很多,不過夠用了。

 

繼續閱讀
weinxin
關于本站
分享交流WordPress經驗與技巧,關注前端設計與網站制作。僅用于功能演示。
WordPress 5.4 下載 WordPress

WordPress 5.4 下載

WordPress 5.4 2020年3月31日正式發布。中文版也同發布,下載地址: WordPress 5.4中文版:https://cn.wordpress.org/wordpress-5.4-z...
WordPress 只允許游客瀏覽指定分類的文章 WordPress

WordPress 只允許游客瀏覽指定分類的文章

有童鞋問,如何實現未登錄用戶只能瀏覽指定的分類文章,這里提供一下方法。 只允許游客瀏覽指定分類的文章 網上可以找到類似的代碼: //template_redirect動作鉤子是一定會執行的,所以用這個...
盜版主題很可怕! WordPress

盜版主題很可怕!

主題森林相信國內 WordPress 用戶都很熟習,來自該網站的收費主題在國內盜版橫行,一些無良者對主題進行所謂優化、漢化后直接出售,更有甚者居然還有冒充國內代理的。主題森林大部分主題并不像國內主題需...
限制 WordPress 部分用戶角色進入后臺 WordPress

限制 WordPress 部分用戶角色進入后臺

有時我們想限制WordPress 部分用戶角色訪問后臺,可以通過下面的代碼實現。 限制 WordPress 部分用戶角色進入后臺 一、只允許管理員、編輯和作者角色訪問后臺 將下面代碼添加到當前主題函數...
匿名

發表評論

匿名網友 填寫信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

評論:84   其中:訪客  76   博主  2
    • 熱騰吧 熱騰吧 2

      我的還沒寫robots文件。明天要寫上了

        • 我愛動感單車網 我愛動感單車網 7

          @ 熱騰吧 :razz: 想當初因為自己對WordPress程序不熟悉,為了盡可能擬寫好這個robots.txt文本文件,那可是查找了很多資料和不斷思索才最終搞定。感興趣的朋友可以去參考下我的博客是怎么寫的,大家多多交流、共同進步。

        • 009 009 4

          建議文章標題參考之前的主題看看

          • 三月福利吧 三月福利吧 2

            不錯,正愁這個呢!!!!

            • 枯葉蟻 枯葉蟻 1

              用上了,謝謝

              • 龍之游 龍之游 1

                用上了,謝謝http://www.lzyhll.com

                • Noob工廠手表 Noob工廠手表 0

                  感謝知更鳥無私的分享,對于我來說太有用了!

                  • 嘻嘻不要 嘻嘻不要 1

                    robots金典教程,大家圈起來,考試要考

                    • 五牛 五牛 1

                      呵呵,簡單實用的!謝謝博主!

                      • 驢行路上樂悠悠 驢行路上樂悠悠 4

                        剛試了一下發現我的robots.txt這個文件里多了個:Allow: /wp-admin/admin-ajax.php,這個ms是搞錯了吧,抓取后臺的文件了?

                        • 逆襲風暴 逆襲風暴 0

                          受教了,剛好用上,謝謝分享。

                          • 唯美圖片網 唯美圖片網 0

                            用上了,總結的不錯,再寫一個sitemap就更好了!
                            www.weimeitupian.com

                            • 獵樂網 獵樂網 2

                              很好,不過要注意的是,百度的可以用utf8編碼 谷歌的會報錯, 谷歌要保存成ANSI編碼的

                              • Bravo Bravo 0

                                我想問下您的代碼高亮是用的是那個插件???謝謝!

                                • 還有誰 還有誰 0

                                  呵呵哈哈哈機甲

                                  • 淘寶優惠券查詢系統 淘寶優惠券查詢系統 2

                                    屏蔽了各種蜘蛛還是亂抓取。。。

                                    • 玩游戲賺錢 玩游戲賺錢 0

                                      謝謝博主啊,我直接拿來用了!在你博客學到好多東西,感謝!

                                      • 洛伊元 洛伊元 1

                                        用上了,謝謝http://www.lyy928.com

                                        • 發大水 發大水 0

                                          茍富貴升大概桂豐大廈

                                          • 爸媽質選 爸媽質選 0

                                            謝謝博主,已經上傳啦

                                            • 怡文 怡文 0

                                              學習了,自己的博客站正好用上。www.meibaseo.com

                                              • 瞎折騰 瞎折騰 0

                                                阿里云負載突然100%,現在又好了,是不是有爬蟲在爬啊

                                                • 福利啊 福利啊 1

                                                  感謝博主,已經用上http://fulia.net

                                                  • 精斑檢測試紙 精斑檢測試紙 0

                                                    很實用每次都來復制下

                                                    • 學美文網 學美文網 1

                                                      學習了

                                                      • 最佳損友 最佳損友 2

                                                        鳥哥牛逼!學就完事了。