Comprendre l’indexation de Google

Courtesy of: Quick Sprout

Pour nos lecteurs peu à l’aise avec l’anglais voici ce qui nous a semblé important de vous communiquer comme message :

• Depuis 1998 Google a indexé sur ses serveurs 2 fois plus de pages que Yahoo et Bing réunis.
• Malgré cette performance on estime qu’il n’indexe que 10% des pages publiées sur le web. Donc 90% des pages ne seront jamais positionnées si elles n’ont pas fait l’objet d’une attention particulière les rendant  » mémorisables ».
• C’est 450 millions de pages web qui ne sont pas indexées par le moteurs de recherche Google. C’est ce que l’on appelle communément le  » web invisible ».
• Pour « crawler » et mémoriser tout son index google a besoin d’1 million de serveurs et ce travail ne s’arrête jamais. (il va falloir en vendre de l’Adwords pour entretenir cette structure!).

Google utilise des robots d’indexation pour naviguer sur le toile en permanence. Ces robots sont appelés des « Spiders » (Araignées en anglais car ce sont eux qui tissent la toile). Ces robots surfent comme nous pourrions le faire en suivant les liens présents sur les pages web. Selon la position de votre page dans la hiérarchie de votre arborescence, celle-ci sera donc trouvée plus ou moins rapidement. Comme nous l’avons vu plus haut  Google n’a malheureusement pas une connaissance exhaustive de votre site. Pour rester crédible vis à vis des internautes il a cependant intérêt comme nous à en connaitre les pages les plus populaires et les plus significatives. On comprends ici la nécessité de relayer votre production dans vos mails, vos réseaux sociaux afin de faire venir les premiers visiteurs et de donner un signal que cette page existe et a de l’intérêt. Cette phase d’apprentissage de l’arborescence de votre site est appelée le « Crawl ».

Le crawl se fait par une succession de passage et la fréquence de ses visites dépends en grande partie de la fréquence à laquelle vous apportez du nouveau contenu. En clair si vous ne modifiez que rarement vos fiches produits, vos pages d’accueil ou si vous ne produisez que peu d’articles sur votre blog, il ne faudra pas s’étonner que vos nouveautés soient longues à s’indexer et donc à se positionner.

• Votre site n’a pas de fichiers robots.txt à la racine ou ce dernier est mal configuré et indique de ne pas crawler une partie de votre site.
• Idem pour le fichier .htacces pour les solutions que vous hébergez vous-même chez un hébergeur. Pour les solutions SAS et par définition il n’y a pas de fichier .htacess.
• Les balises Méta de votre site ne sont pas correctement configurées.
• Un mauvais paramétrage de vos Google Webmaster Tools notamment dans les URL à exclure.
• Un PageRank de la page beaucoup trop faible (les liens qu’elle contient seront probablement pas crawlés). D’où l’intérêt de faire des liens sur chacune de vos pages ou articles.
• Soucis sur vos DNS ou serveurs empêchant les robots de naviguer correctement.
• Black list de votre nom de domaine pour non-respects des guidelines de Google mais là le problème est bien plus grave et il faut y remédier immédiatement avant que tous vos efforts numériques ne soient définitivement évaporés.

Si vous ne disposez pas d’outils spécifiques utilisés par le référenceur pour contrôler l’état de l’indexation de vos sites ( pour notre part nous utilisons Yooda SeeUrank ) Nous vous conseillons vivement l’utilisation des Google webmaster tools.

• Corrigez toutes les erreurs d’indexation notifiées dans le rapport d’indexation de cet outil et surtout celles qui s’affichent en premier.
• Soignez particulièrement le maillage internet de vos pages.(Faites des liens entre vos pages).
• Attention a ne pas surcharger de codes informatiques et notamment l’AJAX ou autres ( il y a souvent un compromis à faire avec des fonction « funs » et celles qui sont vraiment utiles!).
• Ajoutez un sitemaps à votre site et déclarez le aux moteurs de recherche. Toutes les solutions offrent cette possibilité très facilement. Il s’agit d’un fichier qui agit un peu comme un sommaire de votre site et qui indique aux moteurs de recherche le nom de vos pages mais aussi leur fraîcheur.
• Demandez à votre webmaster de privilégier le CSS et le HTML  et surtout veillez à ne pas bloquer l’accès à ces ressources.
• Ne cachez jamais de contenu de quelques façons que ce soit (c’est un moyen très rapide pour se faire désindexer)
• Travaillez la vitesse de chargement de vos pages en travaillant sur le poids de vos photos. En 2015 ce point sera décliné sur les versions mobiles avec une importance accrue.

N’hésitez pas à partager ce contenu sur vos réseaux sociaux et à le diffuser à tous vos amis qui se préoccupent de l’efficacité de leurs site internet.