Le robots.txt est un fichier placé à la racine d’un site qui indique aux robots (moteurs de recherche, crawlers IA) les zones qu’ils sont autorisés ou non à explorer. Il bloque l’exploration, mais ne garantit pas la désindexation d’une page.
« Retour vers le glossaire« Back to Glossary Index