Lý giải về cách sử dụng các thẻ cơ bản trong TỆP Robots.txt

 Zcomity  (04/03/2018):

GIẢI thích về cách sử dụng các thẻ cơ bản trong TỆP Robots.txt:

Robots.txt có thể giúp thu thập thông tin tất cả các bài đăng và trang Blog của Blogger nộp cho công cụ tìm kiếm Search Engine. Có nghĩa là Robots.txt có thể cung cấp tính năng tùy chỉnh cho tất cả các bài đăng hoặc trang của Blog và chúng ta có thể tự điều chỉnh để vô hiệu các bài đăng hoặc một trang cụ thể bằng tệp Robots.txt.

Nên nhớ rằng các bạn không nên tùy ý chỉnh sửa robot.txt một cách tùy thích, vì chỉ cần một sơ xuất nhỏ có thể khiến trang web của bạn bị các công cụ tìm kiếm bỏ qua gây tổn hại cho trafic của trang.

#User-agent: Mediapartners-Google :- Giúp Google cung cấp các dịch vụ quảng cáo tốt hơn trên trang blog của bạn.
#User-agent: * :- Thẻ này nghĩa là Wbsite hay blog của bạn sẽ được các bộ máy tìm kiếm truy vấn lập chỉ mục. Có nghĩa là Web của bạn sẽ hiện hữu với các công cụ tìm kiếm.

#Disallow: /search :- Thẻ này nói cho các công cụ tìm kím không được phép lập chỉ mục theo kiểu liên kết này.
#Allow: / :- Cho phép các công cụ tìm kiếm lập chỉ mục liên kết với trang chủ của Web.
#Sitemap :- Chúng ta thêm Blog cũng như tất cả các bài đăng vào khai báo kiểu sơ đồ trang sitemap để tiện cho các công cụ tìm kiếm dễ dàng lập chỉ mục trang Web giúp tăng lưu lượng truy cập.

Bước 1: Vào Quản trị Blog chọn cài đặt tìm kiếm >> chọn cài đạt tìm kiếm như trong hình sau:

Bước 2: Tiếp theo các bạn chọ : " có, hay Yes "

Bước 3: copy đoạn tệp dưới đây dán vào ô trống, nhớ chỉnh lại thành địa chỉ Web của bạn ngay phần tô đỏ bên dưới.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://my-blog-name.blogspot.com/sitemap.xml



_______________
Nguyễn Hoàng Thế Anh
www.Zcomity.com