Khám phá Robots.txt là gì? 3 Cách tạo file robots.txt cho wordpress

Thảo luận trong 'Khám phá - Trải nghiệm' bắt đầu bởi letrinbd, 4 Tháng chín 2020.

  1. letrinbd Thành Viên Mới

    Robots.txt là gì? 3 Cách tạo file robots.txt cho wordpress - 287309

    File robots.txt là gì?

    • File robots.txt là một tập tin văn bản đơn giản có dạng .txt. Tệp này là một phần của Robots Exclusion Protocol (REP) chứa một nhóm các tiêu chuẩn web quy định cách robot web (hoặc robot của các công cụ tìm kiếm) thu thập dữ liệu trên web, truy cập, index nội dung và cung cấp nội dung đó cho người dùng.

    • Trên thực tế, tạo file robots.txt cho wordpress giúp các nhà quản trị web link hoạt, chủ động hơn trong việc cho phép hay không cho các con bot của công cụ tìm kiếm index một số phần nào đó trong trang web của mình.

    Cú pháp của tệp robots.txt

    • User-agent
    • Disallow
    • Allow (chỉ áp dụng cho bọ tìm kiếm Googlebot)
    • Crawl-delay
    • Sitemap

    Bài viết này sẽ hướng dẫn cho bạn:

    • Hiểu rõ khái niệm robots.txt là gì
    • Cấu trúc cơ bản của một file robots.txt
    • Có những lưu ý gì khi tạo lập robots.txt
    • Tại sao phải cần robots.txt cho website của bạn
    • Cách tạo lập 1 file hoàn chỉnh cho web của bạn

    >>> Xem tại đây: https://gtvseo.com/robots-txt-la-gi/

    #robots_txt_la_gi #gtv_seo #tạo_file_robots.txt_cho_wordpress
    Chủ đề tương tự

Chia sẻ trang này