User-agent: *
Allow: /
# QA 19/09/2026 : plus de Crawl-delay (Google l'ignore ; Bing le respecte et plafonnait a ~17 000 pages/jour par domaine)

# Sitemaps du domaine demande (QA 19/09/2026 : chaque sous-domaine pays annoncait le sitemap du domaine principal)
Sitemap: https://jobiglo.com/sitemap.xml
Sitemap: https://jobiglo.com/sitemap-news.xml

# Block dashboard and admin
Disallow: /dashboard/
Disallow: /admin/
Disallow: /api/
Disallow: /login
Disallow: /register/
Disallow: /verify-email/
# QA 13/09/2026 (ANO-050) : Disallow de chemins internes retires (deja en 404 cote nginx, inutile de les annoncer)

# SEO/scraping bots — no value to us, just CPU + bandwidth + competitor intel
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: Barkrowler
Disallow: /

User-agent: serpstatbot
Disallow: /

User-agent: SeznamBot
Disallow: /

User-agent: BLEXBot
Disallow: /

# QA 14/09/2026 : GPTBot, ClaudeBot, anthropic-ai, CCBot, Applebot, Amazonbot, Meta-ExternalAgent et FacebookBot
# re-autorises (mentions IA, Siri, Alexa, apercus de partage ; cf. commentaire nginx du 06/07). Ils suivent le groupe *.
# Bloques depuis le 10/06 : crawlers sans benefice identifie
User-agent: ImagesiftBot
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: TimpiBot
Disallow: /

User-agent: omgili
Disallow: /

# QA 25/09/2026 (proprietaire : « trop de trafic Chine, bloque ces robots ») : Sogou faisait 88 % des requetes
# chinoises (92 233 le 24/09), sans aucun marche en Chine. Il lit robots.txt : on le lui demande d'abord ; s'il
# continue, le couper dans nginx (map $bot_block).
User-agent: Sogou web spider
Disallow: /

User-agent: Sogou
Disallow: /