Les crawlers IA sont les robots qui explorent le web pour entraîner les modèles d’IA ou alimenter leurs réponses en temps réel (GPTBot et OAI-SearchBot d’OpenAI, ClaudeBot d’Anthropic, PerplexityBot…). Le fichier robots.txt permet de les autoriser ou de les bloquer individuellement.
« Retour vers le glossaire« Back to Glossary Index