Les robots de Google veulent accéder aux fichiers CSS et Javascript

Nouvelle exigence de Google pour le référencement

Via le Webmaster Tools ou Search Console, Google multiplie les messages aux webmasters pour leur demander de corriger leur fichier robots.txt.
En effet, Google voudrait pouvoir accéder notamment aux Fichiers CSS et Javascript pour améliorer le classement des sites dans les résultats de recherche. Ce qui veut dire que les robots de Google pourraient utiliser les informations contenues dans ces fichiers pour améliorer l’analyse d’un site.

Pourquoi Google veut utiliser les feuilles de style et le Javascript ?

Quelles informations les robots pourraient y trouver ? Est-ce que Google se positionne sur une meilleure prise en compte de l’expérience utilisateur ou est-ce encore un moyen de vérifier que le site est Google friendly, sans aucune manipulation cachée…

Nos systèmes ont récemment détecté un problème avec votre page d’accueil qui affecte l’affichage et l’indexation de votre contenu par nos algorithmes. Plus particulièrement, Googlebot ne peut accéder à vos fichiers JavaScript ou CSS à cause de restrictions dans votre fichier robots.txt. Ces fichiers nous permettent de comprendre que votre site Web fonctionne correctement. En bloquant l’accès à ces éléments, il est donc possible que le classement du site ne soit pas optimal.

Pour cela, rien de tel qu’un test sur sur la Search console

Il est possible d’explorer un site comme le font les robots de Google et donc comprendre l’importance des différents éléments dans la page :
Et si l’on explore la profondeur de la page, on s’aperçoit que sans CSS notre site est un peu vide…

Comment débloquer l’accès aux fichiers CSS et Javascript ?

Ainsi dans l’exploration proposée, Google présente les visuels et la liste des ressources bloquées. Pour chaque ressource bloquée, Google suggère une solution via la correction du fichier.robots.txt notamment.

Et ensuite, la visite continue avec Google et présente les modifications à apporter.
 

La simple suppression de l’interdiction ne fonctionne pas toujours, donc il sera préférable dans bien des cas d’afficher l’autorisation pour Google Bot :

User-Agent: Googlebot
Allow: .js
Allow: .css

Si on on donne dans le robots.txt une autorisation d’exploration, attention tout de même à ne pas laisser de consignes contradictoires :

1. On supprime l’interdiction : Disallow: .js
2. On autorise l’exploration : Allow: .js

Quelques spécificités sont à prendre en compte en fonction du CMS utilisé mais en suivant les recommandations de Google, en utilisant Search Console, on a tous les informations indispensables pour réussir ce petit caprice googlien…

Méthode pour faciliter l’exploration du site par les robots de Google

1. Identifiez les ressources bloquées
2. Mettez à jour votre fichier robots.txt
3. Validez la correction à l’aide de l’outil Explorer comme Google

On notera surtout l’importance d’envoyer l’information à Google que toutes les restrictions ont été corrigées et que l’exploration par les robots répond désormais aux consignes de Google. Il en est de même pour l’ensemble des erreurs constatées sur Search console :

1. Améliorations Html
2. Erreurs 404
3. Etc.

Voilà encore une peu plus d’information pour Google, et comme à chaque fois, on le fait pour lui faire plaisir et surtout parce que la visibilité et le référencement naturel pourraient en dépendre. On a bien compris cette petite insinuation :

il est donc possible que le classement du site ne soit pas optimal