Les robots de Google veulent accéder aux fichiers CSS et Javascript

🕒 Temps de lecture3 minutes

Nouvelle exigence de Google pour le référencement

Via le Webmaster Tools ou Search Console, Google multiplie les messages aux webmasters pour leur demander de corriger leur fichier robots.txt.
En effet, Google voudrait pouvoir accéder notamment aux Fichiers CSS et Javascript pour améliorer le classement des sites dans les résultats de recherche. Ce qui veut dire que les robots de Google pourraient utiliser les informations contenues dans ces fichiers pour améliorer l’analyse d’un site.

Les robots de Google toujours plus exigents

Pourquoi Google veut utiliser les feuilles de style et le Javascript ?

Quelles informations les robots pourraient y trouver ? Est-ce que Google se positionne sur une meilleure prise en compte de l’expérience utilisateur ou est-ce encore un moyen de vérifier que le site est Google friendly, sans aucune manipulation cachée…

Nos systèmes ont récemment détecté un problème avec votre page d’accueil qui affecte l’affichage et l’indexation de votre contenu par nos algorithmes. Plus particulièrement, Googlebot ne peut accéder à vos fichiers JavaScript ou CSS à cause de restrictions dans votre fichier robots.txt. Ces fichiers nous permettent de comprendre que votre site Web fonctionne correctement. En bloquant l’accès à ces éléments, il est donc possible que le classement du site ne soit pas optimal.

Pour cela, rien de tel qu’un test sur sur la Search console

Il est possible d’explorer un site comme le font les robots de Google et donc comprendre l’importance des différents éléments dans la page :

Test de site selon les robots de GoogleEt si l’on explore la profondeur de la page, on s’aperçoit que sans CSS notre site est un peu vide…

Robots de Google dans Search console

Comment débloquer l’accès aux fichiers CSS et Javascript ?

Ainsi dans l’exploration proposée, Google présente les visuels et la liste des ressources bloquées. Pour chaque ressource bloquée, Google suggère une solution via la correction du fichier.robots.txt notamment.

Exploration des scripts

Et ensuite, la visite continue avec Google et présente les modifications à apporter.

 

Paramétrage du robots.txt

La simple suppression de l’interdiction ne fonctionne pas toujours, donc il sera préférable dans bien des cas d’afficher l’autorisation pour Google Bot :

User-Agent: Googlebot
Allow: .js
Allow: .css

Si on on donne dans le robots.txt une autorisation d’exploration, attention tout de même à ne pas laisser de consignes contradictoires :

  1. On supprime l’interdiction : Disallow: .js
  2. On autorise l’exploration : Allow: .js

Quelques spécificités sont à prendre en compte en fonction du CMS utilisé mais en suivant les recommandations de Google, en utilisant Search Console, on a tous les informations indispensables pour réussir ce petit caprice googlien…

Méthode pour faciliter l’exploration du site par les robots de Google

  1. Identifiez les ressources bloquées
  2. Mettez à jour votre fichier robots.txt
  3. Validez la correction à l’aide de l’outil Explorer comme Google

On notera surtout l’importance d’envoyer l’information à Google que toutes les restrictions ont été corrigées et que l’exploration par les robots répond désormais aux consignes de Google. Il en est de même pour l’ensemble des erreurs constatées sur Search console :

  1. Améliorations Html
  2. Erreurs 404
  3. Etc.

Voilà encore une peu plus d’information pour Google, et comme à chaque fois, on le fait pour lui faire plaisir et surtout parce que la visibilité et le référencement naturel pourraient en dépendre. On a bien compris cette petite insinuation :

il est donc possible que le classement du site ne soit pas optimal

Votre avis nous intéresse !

☕    Articles pouvant également vous intéresser    ☕

  • 94
    Se faire prendre par la patrouille Google une fois Si votre site fait l'objet d'une action manuelle de l'équipe anti-spam de Google, vous recevez normalement un mail avec la demande de correction. On vous explique alors ce qu'il faut modifier sur votre site. Une fois les corrections apportées, il vous…
    Tags: de, google, à, site, naturel, référencement
  • 94
    Nouvelle mise à jour de l'algorithme de Google pour la recherche locale Google Pigeon a été déployé avant tout aux Etats-Unis en juillet 2014 et en décembre 2014 pour les autres Pays. Un an après son lancement, Google Pigeon est désormais actif pour la France. Il semblerait que la notion…
    Tags: de, google, à, on, naturel, référencement
Réaliser un doagnostic référencement naturel
Quelques questions ? Contacter Internet Communication

Add a comment