Blogspot ( Blogger) hiện nay cho phép tùy chỉnh robots.txt, điều này rất hữu ích bởi vì chúng ta có thể thiết lập khả năng hiển thị các bài viết của chúng ta trên công cụ tìm kiếm, chúng ta có thể xác định xem bài viết sẽ được lập chỉ mục của công cụ tìm kiếm hay không.
Theo mặc định, tất cả các blog sử dụng nền tảng Blogspot ( Blogger) sẽ có một robots.txt như sau:User-agent: Mediapartners-Google
Theo mặc định, tất cả các blog sử dụng nền tảng Blogspot ( Blogger) sẽ có một robots.txt như sau:User-agent: Mediapartners-Google
Disallow: User-agent: *
Disallow: /search Allow: /
Sitemap: http://www.example.com/feeds/posts/default?orderby=updated
Một vài điều cần chú ý robots.txt cho Blogspot
Mediapartners-Google là một robot từ Google Adsense, hãy cứ để nó bởi vì nếu bạn thay xóa hoặc thay đổi thì quảng cáo hiện thị có thể không phù hợp với nội dung web bạn.
Dòng tiếp theo là cho tất cả các robot và phần đánh dấu (*). Trên cấu hình mặc định không cho phép lập chỉ mục các nhãn Disallow: /search
Cấu hình tối ưu robots.txt cho Blogspot (Blogger)
Trong blogspot có 2 vấn đề với robots.txt là chúng ta cần làm để tối ưu là các nhãn được index và khóa phân trang của blogspot, chúng ta chỉnh lại file robots như sau:
User-agent: Mediapartners-Google
Một vài điều cần chú ý robots.txt cho Blogspot
Mediapartners-Google là một robot từ Google Adsense, hãy cứ để nó bởi vì nếu bạn thay xóa hoặc thay đổi thì quảng cáo hiện thị có thể không phù hợp với nội dung web bạn.
Dòng tiếp theo là cho tất cả các robot và phần đánh dấu (*). Trên cấu hình mặc định không cho phép lập chỉ mục các nhãn Disallow: /search
Cấu hình tối ưu robots.txt cho Blogspot (Blogger)
Trong blogspot có 2 vấn đề với robots.txt là chúng ta cần làm để tối ưu là các nhãn được index và khóa phân trang của blogspot, chúng ta chỉnh lại file robots như sau:
User-agent: Mediapartners-Google
Disallow: User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max= Allow: / Sitemap: http://www.example.com/feeds/posts/default?orderby=updated
Cách Thay đổi tập tin robots.txt
để chỉnh sửa tập tin robots.txt . truy cập vào phần quản trị -> chọn cài đặt -> tùy chỉnh tìm kiếm
Cách Thay đổi tập tin robots.txt
để chỉnh sửa tập tin robots.txt . truy cập vào phần quản trị -> chọn cài đặt -> tùy chỉnh tìm kiếm