Crawl BudgetCi sono diversi modi e tecniche per aumentare il traffico e portare nuove visite a un sito web, ma chi si occupa di SEO non può ignorare il cosiddetto Crawl Budget.

Per conoscerne il funzionamento è necessario chiarire fin da subito il significato di “bot dei motori di ricerca”.

Fondamentalmente i bot dei motori di ricerca sono quegli algoritmi che scansionano e verificano le varie pagine presenti sul web. Riuscire a immaginare la mole di pagine che occupa il web è impossibile, specie se si prova a quantificare il numero di quelle nuove che ogni giorno, ogni ora, ma anche ogni secondo, vengono create in tutto il mondo.

Data la quantità impressionante di pagine che il bot deve regolarmente monitorare (per verificare se ci sono modifiche, aggiunte, eccetera) è lecito domandarsi come lavora il bot del motore di ricerca.

Non potendo verificare in tempo reale tutte queste pagine, procederà in un determinato modo e ordine. Conoscere qual è può risultare un’informazione molto preziosa per l’ottimizzazione del nostro sito. Qui entra in gioco il Crawl Budget di cui vogliamo parlare.

Cos’è il Crawl Budget

Per capire il Crawl Budget dobbiamo fare un’altra breve premessa, parlando del Crawl Rate Limit e del Crawl Demand.

Il primo indica il limite di connessioni che simultaneamente il bot del motore di ricerca può utilizzare per effettuare la scansione di un sito. Allo stesso tempo indica anche quanto tempo passerà tra una scansione e l’altra. Il Crawl Rate Limit può essere più o meno alto e aumenta se il sito è ottimizzato in maniera tale da rispondere velocemente alle visite. Questo perché se Google sa che impiega poco tempo a visitare quel sito, capisce anche che può farlo di continuo, senza dover sacrificare troppo tempo per la scansione di tutti gli altri siti.

Il Crawl Demand, invece, indica l’esigenza che l’URL di una pagina ha di essere scansionato dal bot del motore di ricerca. Il Crawl Demand aumenta quando sul sito ci sono attività tali (migrazioni, cambiamenti, restyling, eccetera) che stimolano l’attenzione del bot.

A questo punto possiamo capire meglio cos’è il Crawl Budget: la capacità e la volontà del bot del motore di ricerca di URL massimo che può scansionare.

Crawl Budget e SEO

Ora possiamo passare a capire come il Crawl Budget incida sulla SEO e, quindi, come fare per migliorare l’ottimizzazione del nostro sito e, ancora, perché conviene farlo.

Partiamo proprio da quest’ultimo aspetto. La prima cosa che è necessario dire è che, di per sé, il Crawl Budget non è un fattore di ranking. Ma questo, come abbiamo visto anche altre volte, non vuol dire che quell’elemento non riesca a incidere sul posizionamento nella SERP. Anzi.

Avere un Crawl Budget tale che Google scansioni, tramite il suo bot, il tuo sito è un buon segnale. Significa infatti che è un sito che Google considera importante e che è interessato a capire i cambiamenti.

È importante che il bot scansioni di frequente i siti specie per quelli più grandi e che continuamente pubblicano nuovi contenuti o aggiornino quelli già esistenti. L’altro aspetto da considerare è che le pagine scansionate dal bot hanno più facilità di essere visibili sul motore di ricerca che, invece, tende a “dimenticare” le pagine che sono state scansionate da più tempo.

Come ottimizzare la Crawl Budget

Ora dobbiamo capire come intervenire sulla Crawl Budget e come ottimizzarla per la SEO. Più che da ottimizzare, il Crawl Budget va monitorato. Esso, infatti, non è un valore diretto, ma un elemento che indica la qualità del sito. Tramite la Google Search Console possiamo ottenere le statistiche inerenti a:

  • Kb scaricati quotidianamente;
  • Numero di pagine analizzate;
  • Tempo necessario al bot per scansionare le pagine.

Presi singolarmente forse questi dati non dicono molto, ma incrociati tra loro sì. Infatti se il numero di scansioni è superiore a quello del numero delle pagine, è segno che Google tiene d’occhio il vostro sito. Quindi lo considera valido, tanto da controllarlo regolarmente.

Nonostante, come abbiamo detto, il Crawl Budget non possa essere modificato direttamente, possiamo mettere in atto diverse attività utili a migliorarlo. Un primo passo, che dovrebbe regolare qualsiasi attività SEO, è quello di investire sulla qualità più che sulla quantità. Un lavoro di qualità quello che crea contenuti utili, che diano informazioni reali e che elimini ogni forma di contenuto duplicato, spam o pagine di errori. Il sito in questione deve essere funzionante, utile e facile da consultare.

Altri aspetti importanti da valutare per migliorare il Crawl Budget sono quelli relativi all’hosting, i link in entrata e agli url.

L’hosting è fondamentale, più di quanto si possa pensare, in quanto è uno dei principali fattori che incidono sulla velocità del sito. L’autorevolezza e il valore dei link in entrata magari acquisiti con campagna di link building incidono indirettamente anche sul sul Crawl Budget.

Anche per quel che riguarda i parametri degli URL (gestibili dalla Search Console) si può fare in modo di comunicare al bot quali pagine leggere per prime e ottenere interessanti risultati per quel che riguarda il posizionamento.