Đây là câu đầu tiên bạn vào phần cài đặt file Robots.txt Blogspot thông báo cho các bạn “Cảnh báo! Hãy sử dụng một cách thận trọng. Việc sử dụng sai các tính năng này có thể khiến blog của bạn bị công cụ tìm kiếm bỏ qua”. Một câu thông báo ngắn ngủi cũng đủ nói lên tầm quan trọng của file Robots.txt.
Robots.txt là gì?
· Robots Exclusion Standard được phát triển từ năm 1994, nhằm giúp các webmaster có thể “tư vấn” cho các công cụ tìm kiếm cách thu thập thông tin từ Blog/Website của họ. Nó hoạt động theo cách tương tự như các “Thẻ tiêu đề robot tùy chỉnh”. Điểm khác biệt chính giữa chúng là các tập tin “Robots.txt tùy chỉnh” sẽ ngăn cản việc công cụ tìm kiếm truy cập vào một trang hoặc thư mục, trong khi các “Thẻ tiêu đề robot tùy chỉnh” chỉ kiểm soát việc lúc nào thì trang hoặc thư mục đó được lập chỉ mục (index).
Chức năng “Robots.txt tùy chỉnh” và “Thẻ tiêu đề robot tùy chỉnh” được Blogger đưa ra rất lâu rồi. Đây là chức năng được các Chuyên gia SEO đánh giá rất cao tuy nhiên các Blog Việt chưa biết các sử dụng nó (thường để ở dạng mặc định). Hôm nay Windows2it viết bài này để hướng dẫn các bạn. Dưới đây là cài đặt chuẩn nhất hiện nay mà được các Blog Việt sử dụng, mình cũng đã áp dụng cài đặt này trên Blog tài liệu miễn phí của mình.
Hướng dẫn tối hóa cho file Robot.txt
Bạn vào Blog => Cài đặt => Tùy chọn tìm kiếm (“Robots.txt tùy chỉnh” và “Thẻ tiêu đề robot tùy chỉnh”).
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Disallow: /search
Disallow: /*?updated-max=*
Disallow: *archive.html
Sitemap: http://windows2it.com/feeds/posts/default?orderby=UPDATED
Tag
|
Ý nghĩa
|
User-agent: *
|
Xác định các công cụ tìm kiếm mà quy tắc được áp dụng.
|
Disallow: /
|
Báo cho công cụ tìm kiếm biết nó không nên "Lục lọi" ở những file này.
|
Allow: /
|
Cho phép công cụ tìm kiếm index đọc tất cả các nội dung.
|
windows2it.com
|
Thay thành địa chỉ trang của các Bạn.
|
2. Cài đặt tối ưu cho “Thẻ tiêu đề robot tùy chỉnh” Chọn chỉnh sửa => Yes => thiết lập như hình bên dưới và Lưu thay đổi.
| Tag | Ý nghĩa |
all
|
Cho phép công cụ tìm kiếm lập chỉ mục.
|
noindex
|
Không hiển thị trang này trong kết quả tìm kiếm.
|
nofollow
|
Thông báo cho công cụ tìm kiếm không nên lần theo các liên kết này.
|
none
|
Tương tự như nonidex và nofollow.
|
noarchive
|
Không hiển thị một liên kết "Cached" trong kết quả tìm kiếm.
|
nosnippet
|
Không hiển thị một đoạn mã trong kết quả tìm kiếm cho trang này.
|
noodp
|
Không sử dụng dữ liệu từ các dự án Open Directory (DMOZ) cho tiêu đề hoặc đoạn hiển thị cho trang này.
|
notranslate
|
Không cung cấp bản dịch của trang này với các ngôn ngữ khác trong kết quả tìm kiếm.
|
noimageindex
|
Không lập chỉ mục cho hình ảnh trên trang này.
|
unavailable_after
|
Không hiển thị trang này trong kết quả tìm kiếm sau khi ngày/thời gian quy định. Ngày/thời phải được xác định trong các định dạng RCF 850.
|
Kết luận:
Quá trình cài đặt file Robot.txt cũng không quá khó. Nhưng chủ yếu là các bạn biết cách dùng sao cho phù hợp với nội dung Blog/Website của Bạn.
Nếu bạn thích bài viết này, hãy subscribe blog của tôi để thường xuyên cập nhật những bài viết hay nhất, mới nhất qua email nhé. Cảm ơn rất nhiều. JJJ
Nguồn: WINDOW2ITwww.Uviet.net