Le NoIndex, nouvelle mise à jour de Google pour les bonnes pratiques webmaster

Avant tout, pour rassurer tous les webmasters et propriétaires de site, il ne s’agit aucunement de devoir donner tous les contenus d’un site web à Google × Google
Google est le moteur de recherche le plus utilisé et le plus connu au monde. Il a été développé par Google Inc., une société technologique américaine, et est devenu un élément essentiel(...)
sans pouvoir effectuer le moindre tri. Cela y ressemble mais ce n’est pas vraiement cela.

Robots.txt et Noindex

Le Noindex concerne ici simplement une mise à jour ou une mise en conformité avec les standards du web, car seul Google prenait en compte cette consigne.

Noindex: https://www.monsite.com/mon_url-complète.html

Cette consigne dans le fichier robots.txt permettait de faire gagner du temps aux robots de Google qui exploraient un site en ayant la liste des pages à voir et des pages interdites à l’indexation. Le problème était que seul Google allait chercher cette consigne dans le Noindex. Ni Bing, Yandex × Yandex
Yandex est un moteur de recherche populaire en Russie et dans d'autres pays de l'espace postsoviétique. Lancé en 1997, Yandex est devenu le moteur de recherche le plus utilisé en Russie,(...)
, voire Baidu n’avaient une telle consigne.

Comment refuser l’indexation d’une page

La meilleure solution pour un refus d’indexation par les moteurs de recherche sera :

• Dans le robots.txt, utiliser la consigne Disallow:
• Avec les robots tag : Noindex au niveau de la page

Et attention, Google a commencé via la search console × Search Console
La Search Console est un outil créé par Google afin de permettre aux webmasters et référenceurs d'identifier les erreurs de leurs sites et ainsi les corriger. La Search Console propose(...)
à faire les rappels nécessaires. Pour un site toujours plus Google friendly × friendly

"SEO friendly" est un terme utilisé pour décrire un site web, une page web ou un contenu qui est optimisé de manière à être bien compris, indexé et classé par les moteurs de recherche.(...)
, il est important de nettoyer son fichier robots.txt

Nettoyage du robots.txt

Par cette même occasion, pensez à ajouter des consignes spécifiques pour chaque robot : Bing, Yandex, Google image, recherche vocale… Ne vous contentez jamais du fichier par défaut de votre CMS WordPress × Wordpress
WordPress est un système de gestion de contenu (CMS) populaire et largement utilisé pour la création et la gestion de sites web. Lancé pour la première fois en 2003, WordPress est devenu(...)
, Prestashop… Pensez à regarder le robots.txt de vos concurrents, vous y trouverez peut-être des consignes intéressantes !

Ne vous contentez pas d’un : user agent:*

Pensez au crédit temps crawler, pensez à votre stratégie Google et votre stratégie avec les autres moteurs de recherche.

Il y a toujours du bon dans une mise à jour Google !