Outil gratuit

robots.txt pour l'IA

Contrôlez précisément quels crawlers IA peuvent indexer votre site ou l'utiliser pour l'entraînement de modèles. Configurez, copiez, remplacez votre robots.txt.

Autoriser tous les crawlers par défaut (User-agent: *)

Recommandé. Permet à Google, Bing, etc. de continuer à vous indexer.

Moteurs de recherche IA

Crawlers d'entraînement IA

Chemins supplémentaires à bloquer (un par ligne, optionnel)

Aperçu robots.txt

User-agent: *
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: YouBot
Allow: /

Sitemap: https://example.com/sitemap.xml

Remplacez https://example.com/sitemap.xml par l'URL de votre sitemap.