Quel est le budget d'exploration

Un terme qui est beaucoup mentionné aujourd'hui dans la communauté SEO est le budget d'exploration. Si nous le traduisons, il se lirait comme «suivi du budget». C'est un terrain d'entente rare, mais c'est un concept très ancien dans le domaine du référencement.

Ceux qui travaillent avec des projets à grande échelle tels que le grand commerce électronique, les portails de contenu et les spécialistes du référencement, comprennent le budget de crawl comme le temps que Google passe à lire les pages de votre site Web un jour donné.

Index du contenu

C'est le temps que le robot Google prend pour lire les pages d'un site Web. Mais cette fois, le robot d'exploration passe sur votre site Web dépend de plusieurs facteurs; telles que l'autorité du site Web, le pourcentage de contenu en double, les erreurs de page et bien d'autres.

Cependant, selon le blog officiel des webmasters de Google, il est indiqué que tout le monde ne devrait pas se préoccuper de ce problème de budget d'exploration. Autrement dit, s'ils ont un site Web avec quelques dizaines de pages, il n'y a pas besoin de s'inquiéter de ce problème d' exploration de pages, car Google le fera sans accroc.

Mais si vous avez une boutique en ligne ou tout autre projet web de quelques milliers de pages, vous devrez faire très attention et optimiser le budget de crawl concernant votre site web.

Budget d'exploration et positionnement Web

De Google, ils affirment que le budget de crawl n'influence pas le positionnement, mais qu'il peut néanmoins influencer, et parfois contrôler, négativement d'autres des plus de 200 facteurs à classer dans le moteur de recherche.

Mais pourquoi voulons-nous que Google explore plus souvent les pages de notre site Web? D'autre part, nous trouvons plusieurs experts SEO qui veillent à ce qu'un bon budget de crawl améliore le positionnement global des pages du site dans le classement et augmente ainsi le trafic organique.

Fondamentalement, Google a un certain temps à consacrer à votre site, car il doit décider combien de temps il va passer sur chacun des sites du monde, pour lequel il devra calculer le nombre de connexions simultanées qu'il pourra établir pour pouvoir lire les pages de votre site Web.

La qualité du site

Google passe du temps à pouvoir se connecter sur le site, lire ces pages et arrêter cette lecture. Répétez cette opération tout au long de la journée, mais il y a toujours une fraction du temps. Cette fraction de temps est généralement proportionnelle à l' autorité de votre site Web, au nombre de nouvelles pages et à la pertinence qu'il a contre Google.

Cela est dû à la qualité de votre contenu et aux liens qui pointent vers le site, c'est-à-dire que si vous avez de nombreux liens de qualité pointant, il se peut que Google vous comprenne avec plus de qualité et passe plus de temps sur votre site Web, tant qu'il y a un volume de pages plus élevé.

En général, le budget d'exploration ne change pas beaucoup pour un site de 10, 50 ou 100 pages, donc en quelques pages il n'y a pas beaucoup de différence. Mais pour les grands sites, si Google a une seconde pour parcourir votre site et que vous lui dites ce qu'il faut lire, cela sera très utile pour le robot, qui terminera sa tâche d'exploration plus rapidement.

Définissez quelles sont les pages importantes

Tout d'abord, vous devez tracer une architecture plus organisée des informations du site, établir quelles pages sont inutiles et ne pas laisser certaines pages être indexées en vérifiant le fichier robots.txt.

Google ne doit pas passer de temps dans la section de recherche du site Web ou même dans la section où il y a une navigation par filtre, par exemple, comme dans une boutique en ligne, où vous pouvez choisir la taille de la chaussure, la taille de l'appartement ou la couleur de la chemise. Ces filtres sont ce que les gens appellent normalement «navigation face» ou «filtres de navigation».

Certains webmasters ont tendance à bloquer ces filtres et ces recherches dans le fichier robots.txt, juste pour que Google ne passe pas de temps à lire ces pages, car, en fait, ils se concentrent sur l'utilisateur qui recherche cette expérience, et ce sont des contenus qui sont déjà disponible sur d'autres pages internes du site.

Nous vous recommandons de lire: Erreurs à éviter lors de la création d'un site Web

Une autre ligne est qu'en établissant quelles sont les pages importantes de votre site, vous économisez du temps de Google sur les pages qui ont un contenu en double, comme le cas de la navigation face, la page de politique de confidentialité, les termes et conditions, et non vous voulez qu'ils soient lus. Ces pages ne seront accessibles qu'aux utilisateurs qui souhaitent voir ces pages.

Ne perdez pas de temps sur ces pages de faible valeur, car vous ne voulez pas les classer et elles ne font pas la moindre différence dans votre vie, mais elles doivent être là parce que certains utilisateurs souhaitent quand même consulter ces informations.

Fonctionnement du budget d'exploration en interne

En général, le budget d'exploration est basé sur l'architecture. Vous définissez les liens vers les pages que Google va pouvoir lire et les priorisez par leur niveau d'importance.

Après tout, les liens qui sortent de ces pages sont ceux qui sont susceptibles d'être priorisés par Google. Donc, il vaut la peine de penser très bien aux liens internes et à la façon dont votre page est structurée.

Le budget d'exploration est le temps que Google passe à lire, à comprendre les informations du site Web et à évaluer des éléments tels que l'organisation de l'architecture et le blocage dans robots.txt. L'utilisation de la balise nofollow sur un lien empêche Google de suivre ce lien. Par exemple, si un lien a un attribut nofollow, mais qu'un autre lien interne n'en a pas pour accéder à la page, alors Google va prendre le deuxième chemin, vous faisant passer moins de temps.

Avantages d'un site optimisé

Il y a des choses qui vous aideront à lire plus de pages quotidiennement, ce qui peut être utile pour n'importe quel site Web. Par exemple, si votre serveur est plus rapide, Google demandera à ce moment-là plus de pages.

Si votre page est compressée, Google demandera, dans ces demandes, plus de pages. Et si vous avez un code propre et adéquat, Google recevra également une page plus compressée à la fin de la journée, avec de meilleurs bits. Autrement dit, l' optimisation du site Web, la vitesse du site et du serveur, influencent grandement la question du budget d'exploration.

Comment calculer le budget d'exploration de votre site

Le nombre de fois que l'araignée du moteur de recherche Google explore votre site Web dans un certain délai est ce que nous appelons le "budget d'exploration". Par conséquent, si Googlebot visite votre site 32 fois par jour, nous pouvons dire que le budget de suivi de Google est d'environ 960 par mois.

Vous pouvez utiliser des outils tels que la Google Search Console et les outils Bing Webmaster pour calculer le budget d'exploration approximatif de votre site Web. Connectez-vous simplement et accédez à Suivi> Statistiques de suivi pour voir le nombre moyen de pages suivies par jour.

Budget d'exploration et référencement: sont-ils les mêmes?

Oui et non. Alors que les deux types d'optimisation visent à rendre votre page plus visible et à avoir un impact sur vos SERPs, le référencement met davantage l'accent sur l'expérience utilisateur, tandis que l'optimisation des araignées vise entièrement à attirer les bots.

L'optimisation des moteurs de recherche (SEO) est davantage axée sur le processus d'optimisation des requêtes des utilisateurs. Au lieu de cela, l'optimisation de Googlebot se concentre sur la façon dont le robot d'exploration Google accède à votre site.

Comment optimiser le budget d'exploration

Il existe plusieurs façons d' optimiser le budget d'exploration de n'importe quel site Web, en fonction de chaque projet Web, du nombre de pages et d'autres problèmes, voici quelques points à considérer:

Assurez-vous que vos pages peuvent être suivies

Votre page est traçable si les robots des moteurs de recherche peuvent trouver et suivre des liens dans votre site Web, vous devrez donc configurer les fichiers .htaccess et robots.txt afin qu'ils ne bloquent pas les pages critiques de votre site. Vous pouvez également vouloir fournir des versions textuelles de pages qui dépendent fortement de fichiers multimédias riches, tels que Flash et Silverlight.

Bien sûr, l'inverse est vrai si vous voulez empêcher une page d'apparaître dans les résultats de recherche. Cependant, définir le fichier robots.txt sur «interdire» ne suffit pas si vous souhaitez empêcher l'indexation d'une page. Selon Google, la règle "interdire" ne garantit pas qu'une page n'apparaît pas dans les résultats.

Si des informations externes (par exemple, des liens entrants) continuent de générer du trafic vers la page que vous avez rejetée, Google peut décider que la page est toujours pertinente. Dans ce cas, vous devez bloquer manuellement l' indexation de la page à l'aide de la balise META noindex ou de l'en-tête HTTP X-Robots-Tag.

- Meta tag Noindex: mettez cette meta tag dans la section de votre page afin d'empêcher la plupart des robots d'indexation Web d'indexer votre page:

noindex "/>

- X-Robots-Tag - Place ce qui suit dans la réponse d'en-tête HTTP pour demander aux robots d'exploration de ne pas indexer une page:

X-Robots-Tag: noindex

Veuillez noter que si vous utilisez la balise META noindex ou la balise X-Robots, vous ne devez pas interdire la page dans robots.txt. La page doit être explorée avant que la balise soit vue et respectée.

Utilisation prudente des fichiers multimédias riches

Il fut un temps où Googlebot ne pouvait pas analyser du contenu comme JavaScript, Flash et HTML. Ces temps sont révolus depuis longtemps (bien que Googlebot ait toujours des problèmes avec Silverlight et certains autres fichiers).

Cependant, même si Google peut lire la plupart des fichiers multimédias riches, d'autres moteurs de recherche peuvent ne pas être en mesure de le faire, ce qui signifie que vous devez utiliser ces fichiers judicieusement, et vous voulez probablement les éviter entièrement sur les pages que vous souhaitez. position.

Évitez les chaînes de redirection

Chaque URL que vous redirigez vous fait perdre un peu de votre budget d'exploration. Lorsque votre site Web comporte de longues chaînes de redirection, c'est-à-dire un grand nombre de redirections 301 et 302 d'affilée, des araignées comme Googlebot peuvent tomber avant d'atteindre la page de destination, ce qui signifie que la page ne sera pas indexée. La meilleure pratique avec les redirections est d'avoir le moins de redirections possible sur le site Web, et pas plus de deux d'affilée.

Réparer les liens rompus

Lorsqu'on a demandé à John Mueller si les liens rompus affectaient ou non le positionnement, il a répondu qu'il était un peu plus axé sur l'expérience utilisateur qu'à des fins de positionnement.

C'est l'une des différences fondamentales entre l'optimisation SEO et Googlebot, car cela signifierait que les liens rompus ne jouent pas un rôle important dans les classements, même s'ils entravent considérablement la capacité de Googlebot à indexer et classer un site Web..

Cela dit, vous devez suivre les conseils de Mueller étant donné que l'algorithme de Google s'est considérablement amélioré au fil des ans, et tout ce qui affecte l'expérience utilisateur est susceptible d'affecter les SERP.

Définir les paramètres dans les URL dynamiques

Les araignées traitent les URL dynamiques qui mènent à la même page comme des pages distinctes, ce qui signifie que vous pouvez gaspiller inutilement votre budget d'exploration. Vous pouvez gérer les paramètres d'URL en accédant à la Search Console et en cliquant sur Suivi> Paramètres d'URL. À partir d'ici, vous pouvez informer Googlebot si votre CMS ajoute des paramètres à vos URL qui ne modifient pas le contenu d'une page.

Nettoyer le plan du site

Les plans de site XML aident à la fois les visiteurs et les robots araignées, ce qui rend le contenu mieux organisé et plus facile à trouver. Par conséquent, essayez de maintenir le plan du site à jour et de le purger de tout encombrement qui pourrait nuire à la convivialité de votre site, y compris les pages de niveau 400, les redirections inutiles, les pages non canoniques et les pages bloquées.

Le moyen le plus simple de nettoyer le plan du site consiste à utiliser un outil comme Website Auditor. Vous pouvez utiliser le générateur de plan de site XML de Website Auditor pour créer un plan de site propre qui exclut toutes les pages bloquées de l'indexation. De plus, en allant à l'option «Audit de site», vous pouvez localiser et réparer toutes les erreurs 4xx, les redirections 301 et 302 et les pages non canoniques.

Utilisez les flux

Les deux flux, RSS, XML et Atom permettent de diffuser du contenu aux abonnés lorsqu'ils ne naviguent pas sur le site. Cela permet aux utilisateurs de s'abonner à leurs sites préférés et de recevoir des mises à jour régulières chaque fois qu'un nouveau contenu est publié.

En plus du fait que les flux RSS sont depuis longtemps un bon moyen d'augmenter le lectorat et l'engagement, ils figurent également parmi les sites les plus visités par Googlebot. Lorsque votre site Web reçoit une mise à jour (par exemple, de nouveaux produits, des articles de blog, des mises à jour de page, etc.), envoyez-le au graveur de flux Google pour vous assurer qu'il est indexé correctement.

Créer des liens externes

La création de liens reste un sujet brûlant, et il n'y a aucun aperçu que cela va disparaître de sitôt.

Cultiver des relations en ligne, découvrir de nouvelles communautés, créer de la valeur de marque; Ces petits gains devraient déjà être imprimés dans votre processus de planification de liens. Bien qu'il existe des éléments distinctifs de la création de liens qui le sont maintenant depuis 1990, le besoin humain de se connecter avec les autres ne changera jamais.

Actuellement, nous avons déjà des preuves que les liens externes sont étroitement liés au nombre de visites d'araignées que reçoit votre site Web.

Maintenir l'intégrité des liens internes

Bien que la création de liens internes ne joue pas un rôle important dans la vitesse d'exploration, cela ne signifie pas qu'elle peut être complètement ignorée. Une structure de site bien entretenue rend votre contenu facilement détectable par les robots de recherche sans gaspiller votre budget d'exploration.

Une structure de liens internes bien organisée peut également améliorer l'expérience utilisateur, surtout si les utilisateurs peuvent accéder à n'importe quelle zone de votre site Web en trois clics. Rendre tout plus généralement accessible signifie que les visiteurs resteront plus longtemps, ce qui peut améliorer les SERPs.

Quelle conclusion tirons-nous?

Encore une fois, renforçant ce qui a déjà été mentionné ci-dessus, ce problème de budget d'exploration sera important pour les grands sites Web avec des centaines et des milliers de pages Web, sinon cela ne vaut pas la peine de s'inquiéter, car Google suivra votre site Web en douceur.

Nous ne devons pas compliquer l'exploration des pages de notre site vers Google. Il existe de nombreux sites Web avec suffisamment d'erreurs, et même avec des barrières créées par les fichiers robots.txt et sitemap.xml qui empêchent Google d'accéder au contenu. Si nous voulons améliorer le positionnement dans le classement Google, nous devons alors autoriser et simplifier les pages du site Web afin que Google puisse rapidement accéder, indexer et positionner. Très simple.

À ce jour, vous avez probablement remarqué une tendance dans cet article: les meilleures pratiques de traçabilité ont également tendance à améliorer la recherche. Donc, si vous vous demandez si l'optimisation du budget d'exploration est importante pour votre site Web, la réponse est oui.

Autrement dit, si vous facilitez la découverte et l'indexation de votre site Web par Google, vous apprécierez davantage l'exploration, ce qui signifie des mises à jour plus rapides lorsque vous publiez du nouveau contenu. Vous améliorerez également l'expérience globale de l'utilisateur, améliorant la visibilité et, finalement, le classement des SERPs.

Ce ne sont là que quelques-uns des points, parmi tant d'autres, pour améliorer et optimiser le budget d'exploration d'un site Web.