robots.txt

Robots.txt là file văn bản đặt ở thư mục gốc website (ví dụ example.com/robots.txt), cho trình thu thập dữ liệu (crawler) biết được đọc URL nào. Với AI Search, file này quyết định bot của ChatGPT, Perplexity, Claude hay Google có được đọc website để trích dẫn.

Robots.txt là gì và hoạt động thế nào

Mỗi host có một file robots.txt, nằm ở gốc host, chia thành nhóm: dòng User-agent nêu tên bot, sau đó là các dòng Disallow (không được đọc) và Allow (được đọc). Một bot chỉ theo nhóm có tên khớp cụ thể nhất (Google Search Central, truy cập 11/2026). Có nhóm riêng cho Googlebot thì Googlebot bỏ qua nhóm *.

Muốn ẩn trang khỏi Google thì dùng noindex. Bot đàng hoàng tuân theo robots.txt, bot khác có thể không (Google, Introduction to robots.txt, truy cập 11/2026).

Robots.txt cho bot AI: bot tìm kiếm khác bot huấn luyện

Bot tìm kiếm (search bot) đọc trang để dẫn link trong câu trả lời. Bot huấn luyện (training bot) lấy nội dung để huấn luyện mô hình. Theo tài liệu các hãng, chặn bot huấn luyện không làm mất chỗ trong kết quả tìm kiếm AI.

• OpenAI: chặn OAI-SearchBot thì website không hiện trong ChatGPT search; GPTBot là thiết lập độc lập. Thay đổi cần khoảng 24 giờ để có hiệu lực (OpenAI Crawlers, truy cập 11/2026).
• Anthropic: chặn Claude-SearchBot hoặc Claude-User có thể làm website ít hiện trong kết quả của Claude (Anthropic Help Center, truy cập 11/2026).
• Perplexity: PerplexityBot không thu thập nội dung cho mô hình nền tảng; Perplexity-User thường bỏ qua robots.txt (Perplexity Crawlers, truy cập 11/2026).
• Google: Google-Extended không ảnh hưởng Google Search, chỉ áp dụng cho Gemini và Vertex AI (Google’s common crawlers, truy cập 11/2026). AI Overviews dùng Googlebot (Google, AI features, truy cập 11/2026).

Số liệu crawl theo hãng: xem phân tích 68.9 triệu lượt truy cập của AI crawler.

Công cụ Kiểm tra AIO chấm robots.txt ra sao

Nhóm “Quyền truy cập của bot AI” chiếm 20 trên 100 điểm, xét 14 bot. Bot tìm kiếm chiếm 14.5 điểm (Googlebot 4, Bingbot 3, OAI-SearchBot 3, PerplexityBot 2, Claude-SearchBot 1.5, meta-webindexer 1). Bot lấy trang khi người dùng hỏi (ChatGPT-User, Perplexity-User, Claude-User) 2 điểm, bot huấn luyện (GPTBot, Google-Extended, ClaudeBot, Applebot-Extended) 3 điểm, facebookexternalhit 0.5 điểm.

Ví dụ giả định: chặn 4 bot huấn luyện, mở các bot còn lại, website được 20 trừ 3 bằng 17 điểm. Đó là lựa chọn hợp lệ.

Cách sửa robots.txt cho bot AI

1. Mở tenmien.com/robots.txt, lưu bản dự phòng. Tìm Disallow: / dưới tên bot tìm kiếm hoặc dưới User-agent: *.
2. Quyết định mở hay chặn bot huấn luyện.
3. Sửa theo mẫu bên dưới, lưu theo nền tảng:
   • Yoast SEO: Yoast SEO, Tools, File editor (Yoast, truy cập 11/2026).
   • Rank Math: bật Advanced Mode, vào Rank Math SEO, General Settings, Edit robots.txt; xóa file robots.txt thật ở thư mục gốc trước nếu có (Rank Math, truy cập 11/2026).
   • Shopify: Online Store, Themes, Edit code, Add a new template, chọn robots (Shopify Help Center, truy cập 11/2026).
   • Haravan, Sapo: hỏi bộ phận hỗ trợ.
   • Web tự code: đặt file ở thư mục gốc, trả mã 200.
4. Kiểm tra lại: xem báo cáo robots.txt trong Google Search Console, bấm Request a recrawl (Google, truy cập 11/2026), rồi chạy lại công cụ Kiểm tra AIO.

# Bot tìm kiếm: cho phép
User-agent: Googlebot
User-agent: Bingbot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: meta-webindexer
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Bot huấn luyện: chặn (tùy chọn)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.example.com/sitemap.xml

Nhóm bot tìm kiếm lặp lại dòng /wp-admin/ vì bot có nhóm riêng không đọc nhóm *. Trên Shopify, chỉ thêm nhóm bot huấn luyện, đặt sau đoạn Liquid mặc định. CCBot thu thập kho dữ liệu web mở của Common Crawl (truy cập 11/2026). Dòng Sitemap trỏ tới XML sitemap.

Tường lửa có thể chặn bot dù robots.txt cho phép

Tường lửa (WAF) và CDN chặn trước khi bot đọc robots.txt. Mục AI Crawler and Agent access policies của Cloudflare (Security, Settings) đặt Block được cho nhóm Search, Agent, Training (Cloudflare Docs, truy cập 11/2026). Đặt Training là Disallow kèm Bot Preference Sync thì Cloudflare tự chèn dòng Disallow cho GPTBot, ClaudeBot, Google-Extended lên đầu robots.txt (Cloudflare Docs, managed robots.txt). Công cụ Kiểm tra AIO không thấy lớp này; hãy xem log máy chủ, request của bot bị trả mã 403 là bị chặn.

Câu hỏi thường gặp về robots.txt

Website không có robots.txt thì sao?

Công cụ Kiểm tra AIO coi như mọi bot được phép và cho đủ 20 điểm. Bạn vẫn nên tạo file để khai báo sitemap.

Robots.txt khác llms.txt thế nào?

Robots.txt cho phép hoặc chặn bot. llms.txt chỉ gợi ý trang nên đọc và chưa hãng lớn nào xác nhận dùng nó.

Cần rà robots.txt cho AI Search, xem dịch vụ SEO và AI Search của Adtek.