Le crawl est une partie importante du référencement naturel puisque c’est par celui-ci que passe l’indexation de vos pages sur les moteurs de recherche.
Dans le cadre de votre référencement SEO, il est inévitable de croiser ce terme, alors nous allons vous présenter le crawl, comment il est effectué et comment l’optimiser.
Qu’est-ce que le Crawl ?
Comme nous l’avons précisé ci-dessus, le Crawl est ce qui permet d’indexer vos pages sur les moteurs de recherche, c’est grâce à celui-ci que vous pourrez retrouver votre site dans les pages de résultats des moteurs de recherche.
Afin d’indexer votre site internet, les moteurs de recherche ont à leur disposition des robots qui sont chargés de visiter les différentes pages des sites présents sur internet.
En parcourant vos pages, les robots sont dans la capacité d’analyser leur contenu afin d’en juger de leur pertinence en fonction des mots clés présents dans celles-ci mais également des backlinks présents sur d’autres sites crawlés.
Cependant, lorsque les robots visitent vos pages, ils ont un temps limité pour visiter un maximum de pages de votre site, il s’agit du budget de crawl.
Puisque le temps de visite de votre site est limité en temps pour les robots, il n’aura pas le temps d’indexer toutes les pages de votre site le temps de sa visite, on parle de taux de crawl pour le nombre de pages indexées sur les moteurs de recherche.
Le taux de crawl sera donc faible à l’ouverture de votre site puisqu’il n’aura certainement pas le temps de visiter l’ensemble de vos pages lors de sa prochaine visite, mais les robots repasseront sur votre site, cela peut varier de quelques jours à quelques semaines selon l’activité de votre site, plus le site est actif, plus les robots passeront sur celui-ci, ce qui permettra d’augmenter le taux de crawl de celui-ci.
Il est dit qu’un taux de crawl supérieur à 70% est un bon score, et qu’un score inférieur à 25% est insuffisant.
Toutefois, il faut relativiser, ces taux de crawl considérés comme bons ou mauvais ne sont pas significatifs, puisque si votre site est mis en ligne depuis quelques semaines, il est normal d’avoir un très faible pourcentage le temps que les robots passent et repassent afin d’améliorer le taux.
De plus, si votre site est un site vitrine classique composé de 5 pages, le taux de crawl progressera bien plus vite que dans le cadre d’une grande boutique e-commerce composée de 1000 pages.
Optimiser le crawl de votre site
Le temps de chargement de vos pages
Plus tôt, nous avons parlé de budget de crawl, cette limite de temps joue un rôle sur l’indexation de vos pages et rend votre taux de crawl grandement dépendant des performances de votre site.
En effet, lorsque les robots visitent votre site, ils sont dans l’obligation d’attendre le chargement complet des pages afin d’analyser leur contenu, si vos pages se chargent trop lentement, c’est du temps perdu que les robots passeront à attendre qu’elles se chargent, et ce temps perdu aurait pu servir aux robots pour passer aux pages suivantes pour les explorer et les indexer.
Sachez que dans tous les cas, vos pages doivent impérativement se charger en moins de 3 secondes, autrement votre site sera considéré comme non performant, vous avez à votre disposition de nombreux outils pour vérifier la vitesse de chargement de vos pages et vous expliquer ce qui pèse sur le temps de chargement pour l’améliorer.
Respecter ce temps de chargement pour le bien de votre UX, votre SEO, et le crawl de vos pages.
Plus vos pages se chargeront rapidement, plus votre taux de crawl augmentera rapidement.
Produire du contenu régulier
Nous ne le disons jamais assez, pour le crawl comme pour le référencement naturel en général, produisez du contenu !
Nous conseillons souvent de créer un blog sur votre site internet afin de produire du contenu régulièrement et facilement, plus votre site créé du nouveau contenu, plus il sera considéré comme pertinent et ponctuellement mis à jour par les moteurs de recherche, et plus les robots viendront régulièrement vous rendre visite et crawler votre site.
De plus, plus votre site aura de pages indexées, plus il aura de chance de gagner en visiteurs, et plus il aura de visiteur, plus votre site sera visités par les bots des moteurs de recherche, une fois que le rythme est lancé, la progression ne peut qu’être croissante.
Une arborescence réfléchie
Il faut prendre le temps de réfléchir à l’arborescence de son site, afin qu’un maximum de pages, si ce n’est toutes, soit accessibles en 3 clics maximum, au-delà de ce chiffre, elles seront dites profondes et donc plus difficilement accessibles, que ce soit pour vos visiteurs ou pour les robots.
Un menu bien construit peut grandement faciliter un accès rapide à tous les éléments du site.
Un bon maillage interne
Dans le cadre du crawl, le maillage interne a une utilité non négligeable pour rediriger les robots vers d’autres pages plus profondes, cela permet ainsi d’indexer des pages qui sont plus difficilement accessible.
En outre, une quantité importante de liens, sans pour autant trop en abuser, ciblant des pages plus importantes permettra d’assurer un crawl sur les pages, mais ces liens permettront également de faire comprendre aux robots qu’il doit particulièrement prêter attention à ces pages, il en évaluera sa pertinence à l’aide d’un page ranking interne, vos pages ayant le plus de liens seront considérés comme les pages essentiels de votre site.
Remplir le fichier robot.txt
Pour un crawl efficace, il faut optimiser le temps que les robots passent sur votre site afin d’utiliser le plus utilement possible le crawl budget qui vous est accordé.
Cela serait donc frustrant de voir les robots perdent du temps sur vos pages les plus lourdes à attendre qu’elles se chargent, ou encore qu’ils perdent du temps sur des pages inintéressante à indexer telles que les mentions légales ou la page contact.
Les moteurs de recherche ont donc tout prévu ! Ils ont mis à votre disposition le fichier robot.txt, grâce à ce dernier, vous pourrez interdire l’accès de certaines pages aux robots, ainsi, le robot pourra utiliser ce temps précieux sur vos pages les plus utiles.
Le sitemap
Le sitemap est un fichier XML dans lequel se trouvent plusieurs URLs de votre site internet.
Il s’agit des URLs des pages essentielles de votre site, une fois inscrite dans le sitemap et celui-ci soumis aux moteurs de recherche, vous indiquez à leurs robots les URLs qu’il doit visiter en priorité lors de leur crawl.
Cela s’avère très utile lorsque vous venez d’effectuer une modification sur votre site et que vous souhaitez indiquer aux moteurs de recherche de la visiter pour qu’ils actualisent les données récoltées.
Autrement cela s’avère très utile dans le cadre de sites dont le maillage interne n’est pas travaillé, vous pourrez alors indiquer les pages les plus profondes pour aider les robots à les trouver, ce qu’il n’aurait pas forcément eu le temps de faire faute de budget de crawl.
Dans le cas où il vous viendrait à l’esprit de créer un sitemap comprenant tous les liens de votre site, comme cela peut être fait dans le cadre de sitemaps générés automatiquement, sachez que les moteurs de recherche ne leur accorderont aucune importance et effectueront un crawl de manière identique que dans la situation où vous ne leur auriez transmis aucun sitemap.
Le crawl est donc non négligeable dans le cadre du référencement de votre site puisque c’est le premier pas pour apparaitre sur les moteurs de recherche, si vous avez des doutes sur la façon dont est crawlé votre site, il existe divers outils permettant de simuler un crawl afin d’observer le comportement des robots et appliquer des corrections si la procédure ne se passe pas comme vous souhaitez.
Laissez un commentaire