Ứng dụng robots.txt trong SEO WordPress 

Cấu trúc của WordPress vốn đã rất thân thiện với Search Engine . Ngoài ra còn rất nhiều Plugin tốt hỗ trợ cho SEO. Trong bài viết này chúng ta sẽ tận dụng file Robots.txt để hướng dẫn Bots ” ghé thăm ” những chỗ quan trọng trên site bạn và ngăn nó không vào những nơi ” nhạy cảm “.

>PageRank là gì?

Sử dụng Robots.txt để SEO tốt hơn cho WordPress

Cách viết file robots.txt cho WordPress

Không nên cho bots đọc cgi-bin:

    * User-agent: *
    * Disallow: /cgi-bin

Tiếp theo, chúng ta nên hướng dẫn Bots không index những thư mục sau nhằm mục đích bảo mật:

    * Disallow: /wp-admin
    * Disallow: /wp-includes
    * Disallow: /wp-content/plugins
    * Disallow: /wp-content/cache
    * Disallow: /wp-content/themes

Không nên craw feed, Bots sẽ tập trung vào content hơn từ đó tác động đến thứ hạng trên SERPS ( Search Engine Results Page):

    * Disallow: /feed
    * Disallow: /*/feed

Tiếp tục bỏ Comments:

    * Disallow: /comments

Để tránh lỗi Duplicate Content, ta ngăn Bots craw:

    * Disallow: /author
    * Disallow: /archives
    * Disallow: /2010/*
    * Disallow: /2011/*
    * Disallow: /2012/*

Theo xu hướng SEO gần đây, nhiều SEOer có khuynh hướng dùng Tag nên ta hướng dẫn Bots craw phần này:

    * Allow: /tag

Cuối cùng, nên để đường dẫn sitemap của bạn:

    * Sitemap: http://yourdomain.com/sitemap.xml.gz

Dưới đây là nội dung hoàn chỉnh của file Robots.txt:

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /feed
    Disallow: /*/feed
    Disallow: /comments
    Disallow: /author
    Disallow: /archives
    Disallow: /2010/*
    Disallow: /2011/*
    Disallow: /2012/*
    Allow: /tag

    Sitemap: http://yourdomain.com/sitemap.xml.gz

Nội dung file Robots.txt trên đây chỉ mang tính chất tham khảo, bạn có thể thay đổi để phục vụ cho mục đích riêng của minh.