File Robots.txt là gì? Tối ưu file robots.txt chuẩn SEO như thế nào.

File Robots.txt là gì? Tối ưu file robots.txt chuẩn SEO như thế nào là những câu hỏi luôn luôn được đặt ra cho các bạn mới làm SEO. Trong SEO Opage, việc tối ưu file robots.txt là việc làm đầu tiên để tối ưu website. Khi các Google Bot vào trang web của bạn để thu thập dữ liệu thì việc đầu tiên của nó chính là truy cập vào file robots.txt.

File Robots.txt là gì?

Robots.txt là một file giúp chúng ta có thể tương tác được với các con bọ tìm kiếm, nói cho chúng biết chúng ta muốn chúng làm gì với website của chúng ta và không được làm gì, đó là ý nghĩa và tác dụng của file robots.txt

Tối ưu file robots.txt chuẩn SEO như thế nào?

Một file robots.txt chuẩn SEO phải có đầy đủ các lệnh:

User-agent : xác định loại Google Bot có thể truy cập vào website.
Allow : cho phép Google Bot truy cập vào thư mục hay trang.
Disallow : chặn Google Bot truy cập vào thư mục hay trang.
Sitemap : nêu địa chỉ liên kết sitemap của website.

Những cú pháp thông dụng

Cho phép dò và index toàn bộ trang và các thư mục, các file

Allow: /

Chặn không cho phép bot truy cập và index toàn bộ

Disallow: /

Chặn toàn bộ một thư mục và các file, thư mục con trong nó

Disallow: /abc/

Chặn một trang cố định

Disallow: /abc.html

Chặn một loại file cố định từ một bot của công cụ tìm kiếm

User-agent: Googlebot

Disallow: /*.doc$ (thay doc bằng jpg hoặc bất kì file nào muốn chặn)

Chặn một hình không cho Googlebot-Image index

User-agent: Googlebot-Image

Disallow: /abc/def.jpg

Chặn không cho một bot bất kì truy cập:

User-agent: Googlebot

Disallow: /

Lưu ý khi sử dụng và tạo file Robots.txt

– Phân biệt chữ hoa, chữ thường

– Không được viết thừa hoặc thiếu khoảng trắng

– Mỗi lệnh viết trên một dòng

– Không tự ý thêm các ký tự đặc biệt dễ gây nhầm lẫn cho bot

– Hết sức thận trọng khi sử dụng

– Kiểm tra thường xuyên file robots.txt

Những thông tin về file robots.txt trên hy vọng sẽ giúp ích cho các bạn trong quá trình làm SEO.

Xem thêm:

>>cách cài đặt Google Analytics cho wordpress
>>hướng dẫn cài đặt Google Webmaster cho blogspot
>>Thiết kế website thương mại điện tử

Từ khóa liên quan: