Le crawl budget en SEO, ou comment maîtriser les passages des robots indexeurs.

Chaque site internet est composé d’un grand nombre d’éléments (images, photos, commentaires, menus, contenus rédactionnels, vidéos et autres). Ces éléments (leur nombre, leurs caractéristiques), sont changeants : en effet, le simple fait d’ajouter un nouvel article dans le blog interne de votre site internet implique l’intégration dans ce même site de nouveaux titres, de nouvelles balises HTML, de nouveau contenus rédactionnels, images, ou vidéos. La structure même du site est modifiée, ainsi que par conséquence, le ou les sitemap(s) (ou fichier de cartographie du même site). Comment Google s’organise-t-il pour être certain de happer ces nouveaux contenus et leurs données informatives, pour enfin les stocker dans ses Datacenters, et plus tard, les classer selon leur niveau de pertinence et l’ensemble des algorithmes des moteurs de recherche ? Il envoie son robot indexeur : un véritable fureteur logiciel qui se chargera de tout voir, et de tout enregistrer.

Le robot indexeur : le terminator logiciel du renseignement.

Le titre est assez orienté action movie des années 90, mais il est tout de même vrai que ce petit programme (Tout est relatif ! Nous parlons de quelques centaines de milliers de lignes de codes !) a pour fonction de détecter tout ce qui est relatif à la nouveauté sur la toile. En effet, c’est le robot indexeur de Google (Nommé GoogleBot), par exemple, qui passera sur votre tout nouvel article, ou encore votre toute nouvelle page web, très récemment ajoutée sur votre site internet. C’est lui qui décortiquera, en un temps record, tous les aspects des éléments ajoutés, pour en extirper et stocker virtuellement un maximum d’informations. Vous seriez étonnés du nombre d’information stockées pour une simple image ajoutée en entête d’un article de blog ! Et des robots indexeurs de ce type, il en existe plus de 200, issus et utilisés par, en général, les moteurs de recherche internationaux et nationaux. Bing, le célèbre moteur de recherche (et/ou portail web ?) de Microsoft, pratique la même recherche intense d’informations au travers de l’utilisation massive de son BingBot. Mais ces « bots » n’ont pas pour tâche unique de découvrir les nouveaux contenus, ils sont également pilotés pour revenir plus ou moins fréquemment, afin de tester l’arrivée de nouveaux contenus sur vos sites internes, blogs, forums ou autres plateformes de visibilité web, afin d’être certain de happer tout ce qui peut l’être.

Le consultant SEO contrôle, maîtrise et joue avec les bots des moteurs !

Pour un consultant SEO digne de ce titre, la fréquence de passage les moteurs de recherche est d’une importance capitale, pour de multiples raisons ; D’abord, à quoi bon rédiger de nouveaux articles, optimiser un site SEO, modifier le structure d’un site, si cela n’est pas vu par les moteurs de recherche ? En effet, un site alimenté en articles quasiment hebdomadairement n’obtient aucun bonus de fraicheur, aucun meilleur positionnement, aucune visibilité supplémentaire si les moteurs de recherche ne peuvent constater ces changements OnSite. La raison pour laquelle il faut savoir « éduquer » ces petits robots, et leur faire comprendre que de nouveaux contenus sont tenus à leur disposition de manière régulière et fréquente. Ainsi donc, sur les sites entretenus par des SEO manager professionnels, les robots indexeurs des différents moteurs de recherche, prennent l’habitude passer plusieurs fois par jour ! Et donc, et par conséquence logique, les algorithmes de Google favorisent et avantagent ces nouveaux contenus. (Bon, euh, attention, nous parlons là de contenus pertinents, propres, structurés. Des contenus SEO quoi !)

Le crawl budget, ou la limite des robots indexeurs.

La quantité de passages (crawl en Anglais) de ces robots indexeurs est définie à l’avance, ou du moins un quota de passages est attribué à chaque site en fonction de sa situation précédente, et ce quota est modifié au fil du temps en fonction de l’ajout de nouveaux contenus sur le site crawlé. Oui, il est évident de dire qu’un site statique depuis plusieurs années ne suscite aucun intérêt pour les moteurs de recherche, et donc, ces derniers indiqueront à leurs robots indexeurs de ne passer que très rarement….

Les critères sur lesquels se basent les moteurs de recherche pour gérer la fréquence avec laquelle ils vont envoyer leurs bots respectifs pour analyser les contenus publiés, sont principalement calculés lors des passages eux-mêmes. Il s‘agit du nombre de connections simultanées possibles sur un site (nombre de sessions ou visites simultanées sur le même site), et du temps d’attente entre deux passages de robot (ou visites). Autant donc préciser que le serveur informatique sur lequel est hébergé l’ensemble des éléments composant votre site se doit d’être suffisamment costaud pour pouvoir absorber l’ensemble des connexions reçues en temps-réel. A préciser tout de même, si ces 2 critères permettent à Google et autres moteurs de recherche de définir ce fameux « Crawl Budget » (pour rappel, quota de passages des robots indexeurs sur un site), c’est également pour éviter d’atteindre les limites du serveur d’hébergement du site visité. En effet, il serait peu sympathique de saturer un serveur web de requêtes (visites), sous le simple prétexte que les bots ont besoin de contenus frais, rendant ainsi indisponible le même serveur ! Il est d’ailleurs à noter que GoogleBot, entre autres robots indexeurs, visite par défaut, davantage de pages des plus gros sites que des autres sites. (La taille compte, donc !)

Maîtriser et éduquer les robots indexeurs.

Tout d’abord, comment connaître la fréquence de passage actuelle des robots indexeurs sur son site ? En utilisant l’excellent outil d’analyse de Google, je cite ; Search Console. En effet, cet outil mis à disposition gratuitement est un véritable outil d’audit, qui vous donne l’état de santé » (aux yeux de Google), de votre site internet, et dans le détail.

Parmi les informations soumises par Search Console, il vous sera possible par exemple de déterminer la fréquence actuelle (le Crawl Budget, donc) alloué à votre site internet. Fréquence de passage, temps de chargement de vos pages, nombre de pages happées jour par jour. Le tout accessible dans la section Exploration, puis la sous-section nommée « statistiques sur l’exploration ».

N’hésitez donc pas à consulter ces statistiques liées aux passages des robots indexeurs sur votre site, afin de déterminer le crawl Budget actuel attribué à votre site, pour peut-être l’affiner, soit en changeant de serveur web (et donc augmenter la capacité d’absorption de votre serveur), ou encore en ajoutant plus fréquemment des contenus frais et pertinentes (toujours pertinents, les contenus !).



Vous appréciez ? Partagez !
Facebooktwittergoogle_pluspinterestlinkedinmail

Articles récents

Publier un commentaire