# WorkAtAI — https://workatai.org
# Search engines and AI answer engines are welcome to index and cite this content.
# Model TRAINING crawlers are not permitted (per-bot groups below).
#
# Explicitly welcomed via the "Allow: /" group:
#   Googlebot, Bingbot, Google-Extended, OAI-SearchBot, ChatGPT-User,
#   Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, MistralAI-User
#
# Curated, AI-friendly summary of this site: https://workatai.org/llms.txt

User-agent: *
Content-Signal: search=yes, ai-train=no
Allow: /
# ⚠️ 2026-09-11 修过一次真实事故：这里原来只写 "Disallow: /jobs?"，
# 只挡住字面以 "/jobs?" 开头的路径，但 /jobs/{slug} 切片页的过滤态
# 是 "/jobs/ai-engineer?facet=..." 这种，完全不匹配那条规则，等于没挡。
# 23 个切片页每页侧栏暴露约 30 个过滤/排序/分页链接，每个未命中缓存的
# facet 请求要扫 3 万+ 行（LIKE 前导通配符走不了索引），我们自己在上面
# 明确邀请的 Googlebot/Bingbot/OAI-SearchBot 等爬一轮就能打光 D1 免费额度。
# 这些参数视图本来就是 noindex（给人浏览用，不给搜索引擎收录），但
# noindex 不等于不许爬——两者是两回事。改用通配符一次性挡掉全站所有
# 带查询参数的 URL（本站没有任何"必须靠查询参数才能到达"的可索引内容，
# 所有真正要收录的页面都是干净路径，这条规则不会挡到任何该被爬的东西）。
Disallow: /*?
Disallow: /api/

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Omgilibot
Disallow: /

User-agent: Timpibot
Disallow: /

Sitemap: https://workatai.org/sitemap.xml