Le NoIndex, nouvelle mise à jour de Google pour les bonnes pratiques webmaster

Paramétrage du Noindex

Avant tout, pour rassurer tous les webmasters et propriétaires de site, il ne s’agit aucunement de devoir donner tous les contenus d’un site web à Google sans pouvoir effectuer le moindre tri. Cela y ressemble mais ce n’est pas vraiement cela.

Robots.txt et Noindex

Le Noindex concerne ici simplement une mise à jour ou une mise en conformité avec les standards du web, car seul Google prenait en compte cette consigne.

Noindex: https://www.monsite.com/mon_url-complète.html

Cette consigne dans le fichier robots.txt permettait de faire gagner du temps aux robots de Google qui exploraient un site en ayant la liste des pages à voir et des pages interdites à l’indexation. Le problème était que seul Google allait chercher cette consigne dans le Noindex. Ni Bing, Yandex, voire Baidu n’avaient une telle consigne.

Comment refuser l’indexation d’une page

La meilleure solution pour un refus d’indexation par les moteurs de recherche sera :

  • Dans le robots.txt, utiliser la consigne Disallow:
  • Avec les robots tag : Noindex au niveau de la page

Et attention, Google a commencé via la search console à faire les rappels nécessaires. Pour un site toujours plus Google friendly, il est important de nettoyer son fichier robots.txt

Nettoyage du robots.txt

Par cette même occasion, pensez à ajouter des consignes spécifiques pour chaque robot : Bing, Yandex, Google image, recherche vocale… Ne vous contentez jamais du fichier par défaut de votre CMS WordPress, Prestashop… Pensez à regarder le robots.txt de vos concurrents, vous y trouverez peut-être des consignes intéressantes !

Ne vous contentez pas d’un : user agent:*

Pensez au crédit temps crawler, pensez à votre stratégie Google et votre stratégie avec les autres moteurs de recherche.

Il y a toujours du bon dans une mise à jour Google !

Add a comment