Når en søgemaskine besøger et website, gennemgår den ikke nødvendigvis alle sider med det samme. Crawl budget, også kaldet gennemsøgningsbudget, beskriver hvor mange webadresser søgemaskinen vil og kan crawle på et website i en given periode.
Budgettet påvirkes blandt andet af sitets størrelse, hastighed, tekniske fejl og hvor vigtig søgemaskinen vurderer den enkelte side eller det samlede website til at være. Derfor kan nogle sider blive crawlet ofte, mens andre besøges sjældnere.
I teknisk SEO er crawl budget relevant, fordi det hjælper søgemaskiner med at bruge deres ressourcer på de rigtige sider. Hvis mange irrelevante, langsomme eller fejlramte webadresser optager budgettet, kan vigtige sider og opdateringer blive fundet senere.
Når Google vurderer, hvor ofte et website skal besøges, handler det især om balancen mellem crawl rate og crawl demand. Crawl rate er den hastighed, Googlebot kan og vil gennemsøge et site med, uden at serveren bliver belastet unødigt. Crawl demand er derimod behovet for at besøge bestemte sider igen. Det behov stiger typisk, hvis indholdet er vigtigt, opdateres ofte eller får nye interne og eksterne signaler.
Googlebot prioriterer derfor ikke alle URL’er ens. Nogle sider bliver gennemsøgt ofte, fordi de har høj værdi eller ændrer sig jævnligt, mens andre må vente længere. Nye sider, populære produktsider og centrale kategorier vil ofte få mere opmærksomhed end gamle filterkombinationer, tynde arkivsider eller dubletter. Det er netop her, crawl budget får betydning: Hvis mange mindre vigtige sider fylder i gennemsøgningen, kan det gå ud over de URL’er, du helst vil have fundet og opdateret hurtigt.
Efter selve gennemsøgningen kan Google også skulle renderere siden, altså indlæse og fortolke indhold, der vises via kode og scripts. Hvis en side er langsom, svær at hente eller teknisk blokeret, kan det hæmme crawlbarheden. God crawlbarhed betyder kort sagt, at søgemaskinen let kan finde, hente og forstå dine sider. Jo tydeligere struktur og jo færre unødige hindringer, desto bedre kan Google prioritere de rigtige sider.
For mange mindre websites er crawl budget ikke det, der afgør synligheden i søgeresultaterne. Har du et mindre site med få undersider, en enkel struktur og begrænsede opdateringer, vil søgemaskiner som regel uden problemer kunne crawle og genbesøge det vigtigste indhold. Her er teknisk kvalitet, indhold og interne links ofte vigtigere fokusområder.
Det bliver først for alvor relevant, når et website er stort, komplekst eller ændrer sig ofte. Det gælder især ecommerce-sites med mange produkt- og kategorisider, mediesites med løbende publicering og websites med store filtrerings-, sorterings- eller facetteringsløsninger. Hvis søgemaskinen bruger tid på irrelevante eller dublerede URL’er, kan nye eller vigtige sider blive opdaget for sent.
Et typisk scenarie er en webshop med tusindvis af produkter, hvor filterkombinationer skaber et stort antal næsten ens sider. Et andet er et nyhedssite, hvor mange nye artikler publiceres dagligt, men ældre tekniske URL’er stadig bliver crawlet unødigt. I de tilfælde kan crawl budget få direkte betydning for, hvor hurtigt vigtigt indhold bliver fundet, crawlet og opdateret i indekset.
Når søgemaskiner bruger mange forespørgsler på sider med lav eller ingen værdi, bliver der mindre kapacitet til de vigtige sider. Det ses ofte på websites med mange dubletter, hvor næsten samme indhold findes i flere versioner, for eksempel både med og uden sortering, filtrering eller små tekstvariationer. Facetterede URL’er og andre parameter-URL’er er klassiske syndere, fordi de kan skabe tusindvis af kombinationer uden selvstændig søgeværdi. Et typisk eksempel er en kategoriside, der kan filtreres efter farve, størrelse, pris og lagerstatus, så søgemaskinen møder et stort antal næsten ens sider.
Et andet tydeligt tegn er mange tynde sider. Det er sider med meget lidt unikt indhold, såsom interne søgeresultater, tomme kategorier eller produktsider med få linjer tekst og ingen reel information. Hvis disse sider samtidig bliver crawlet ofte, bruger søgemaskinerne tid på indhold, der sjældent fortjener indeksering. Det samme gælder arkiv- og tagsider, som kun samler indhold uden at tilføre nok selvstændig værdi.
Fejlstatuskoder og unødige omdirigeringer er også klare advarselssignaler. Mange 404-sider, 5xx-fejl eller lange omdirigeringskæder betyder, at crawl-ressourcer går til spilde på sider, der ikke kan levere et brugbart resultat. Et konkret eksempel er, når gamle produktsider først sender videre til en mellemstation og derefter til en ny side. Jo flere tekniske blindgyder og uvigtige sidevarianter et website har, desto større er risikoen for, at vigtige sider crawles sjældnere.
Det største løft kommer som regel fra at fjerne spild. Start derfor med at blokere åbenlyst irrelevante områder i robots.txt, så søgemaskiner ikke bruger ressourcer på filtreringer, interne søgeresultater, testmiljøer eller andre sider uden SEO-værdi. Brug samtidig noindex på sider, der godt må crawles, men ikke skal vises i søgeresultaterne, for eksempel tynde tag-sider eller duplikerede varianter. Vær dog præcis: en forkert blokering kan forhindre søgemaskinen i at se vigtige signaler.
Dernæst skal du gøre det let at finde de rigtige sider. Et opdateret XML-sitemap bør kun indeholde kanoniske, indekserbare URL’er med reel værdi. Det hjælper søgemaskiner med hurtigere at opdage nye eller opdaterede sider. Brug også en tydelig kanonisk URL på sider med lignende eller overlappende indhold, så crawlingen samles om den foretrukne version i stedet for at blive spredt på dubletter, parametre og alternative stier.
Intern linkstruktur er ofte undervurderet. Vigtige sider skal kunne nås med få klik og have interne links fra relevante, stærke sider. Det sender klare signaler om prioritet og øger sandsynligheden for hyppigere crawling. Samtidig bør du rydde op i døde links, lange klikstier og orphan pages, som er svære at opdage.
Til sidst: beskær svage sider. Hvis webstedet har mange tynde, forældede eller næsten ens sider, bruger søgemaskiner unødigt crawl budget på lav værdi. Opdater, sammenlæg eller fjern dem, og omdirigér kun når det giver mening. Færre, stærkere sider gør det nemmere at få de vigtigste URL’er crawlet hurtigere og oftere.
Når en søgemaskine besøger en side, betyder det ikke automatisk, at siden bliver vist i søgeresultaterne. Crawling er selve gennemsøgningen, hvor søgemaskinen henter og aflæser indholdet. Indeksering er næste trin, hvor siden vurderes og eventuelt gemmes i søgemaskinens indeks.
En kort sammenligning kan gøre forskellen tydelig: Crawling svarer til, at en bibliotekar gennemgår en bog, mens indeksering svarer til, at bogen faktisk bliver registreret i bibliotekets katalog. Uden gennemgang ingen registrering. Men en gennemgået bog bliver ikke nødvendigvis optaget.
Det samme gælder sider og websites. Crawling er derfor en forudsætning for indeksering, men ikke en garanti. En side kan godt blive crawlet uden at blive indekseret, for eksempel hvis indholdet er tyndt, duplikeret, teknisk utilgængeligt eller vurderes som uden selvstændig værdi. Derfor skal crawl budget ikke forveksles med synlighed.
Hvis du vil forstå crawl budget i praksis, skal du se på, hvad søgemaskinernes robotter faktisk henter fra serveren. Serverlogfiler viser, hvilke URL’er der bliver crawlet, hvornår det sker, og hvor ofte de samme sider besøges. Det gør det muligt at finde crawlmønstre, som ikke altid stemmer med sitets vigtigste indhold. Et typisk tegn på ineffektiv brug af ressourcer er, når robotter bruger mange anmodninger på filtrerede sider, parametre, gamle adresser eller andre URL-varianter med lav værdi.
Dataene kan også afsløre, om væsentlige sider bliver overset eller crawlet for sjældent. Hvis nye eller opdaterede sider næsten ikke optræder i logfilerne, kan det pege på svag intern linkstruktur, for mange klik til indholdet eller tekniske barrierer. Omvendt kan meget hyppig crawling af irrelevante sider betyde, at søgemaskinerne prioriterer forkert i forhold til sitets struktur.
Tekniske signaler som svartid og fejlkoder er også centrale. Høj svartid kan få robotter til at crawle langsommere, fordi serveren virker belastet eller ustabil. Fejlkoder som 404, 500 og lange kæder af omdirigeringer bruger ressourcer uden at tilføre værdi. Samlet set lærer du, hvor crawlkapaciteten går hen, og hvilke mønstre der bør ryddes op i for at gøre crawlingen mere effektiv.
Crawl budget er den mængde URL’er på et website, som en søgemaskine vil og kan gennemsøge i en given periode. Det handler både om, hvor meget søgemaskinen vurderer, at sitet er værd at besøge, og hvor meget serveren teknisk kan håndtere.
Hvis budgettet bruges på irrelevante eller dublerede sider, kan vigtige sider blive crawlet senere eller sjældnere.
Google ser især på to forhold: crawlkapacitet og crawlbehov. Crawlkapacitet handler om, hvor hurtigt Googlebot kan hente sider uden at belaste serveren for meget, mens crawlbehov handler om, hvilke sider Google forventer er værd at besøge igen.
Sider med høj værdi, mange signaler eller hyppige opdateringer får typisk mere opmærksomhed end gamle, svage eller næsten ens URL-varianter.
Det er især vigtigt på store, komplekse eller ofte opdaterede websites. Det gælder for eksempel webshops med mange produkter, facetterede filtre, store mediesites og websites med mange tekniske URL-varianter.
På små websites med få sider er crawl budget sjældent et reelt problem. Her er indholdskvalitet, intern linkstruktur og teknisk sundhed oftest vigtigere.
Som regel ikke. Hvis et website har et begrænset antal sider, en enkel struktur og få tekniske fejl, kan Google normalt godt nå at crawle det vigtige indhold uden problemer.
Problemet opstår typisk først, hvis selv et mindre site har mange dubletter, parameter-URL’er, fejl eller meget lavkvalitetsindhold.
Et typisk tegn er, at søgemaskiner ofte crawler irrelevante URL’er som filtre, sorteringer, interne søgeresultater, gamle adresser eller sider med fejl. Samtidig kan nye eller vigtige sider blive opdaget langsomt.
Du kan undersøge det med serverlogfiler, Google Search Console og en teknisk crawl af sitet. Her kan du se, hvilke URL’er robotter faktisk besøger, og om mønstret matcher dine vigtigste sider.
Facetterede URL’er kan skabe meget store mængder næsten ens sider, for eksempel kombinationer af farve, størrelse, pris og sortering. Det kan få søgemaskiner til at bruge mange crawl-ressourcer på sider uden selvstændig SEO-værdi.
Hvis de ikke styres korrekt, kan de skubbe vigtigere kategorier og produktsider i baggrunden. Derfor bør facettering håndteres med klare regler for indeksering, intern linking og eventuelle blokeringer.
Robots.txt kan bruges til at forhindre søgemaskiner i at crawle bestemte områder, som ikke bør bruge ressourcer. Det kan for eksempel være filtreringer, testsider eller interne søgeresultater.
Filen skal bruges med omtanke. Hvis du blokerer for bredt, kan du også afskære søgemaskiner fra nyttige signaler eller sider, der faktisk burde kunne crawles.
Et XML-sitemap kan hjælpe søgemaskiner med hurtigere at finde vigtige, kanoniske og indekserbare sider. Det er særligt nyttigt på store websites eller ved hyppige opdateringer.
Et sitemap løser dog ikke problemer med dubletter, svage sider eller dårlig intern struktur. Det virker bedst som et supplement til en teknisk oprydning.
Crawl budget vedrører, hvor mange sider søgemaskinen gennemsøger. Indeksering handler om, hvilke af de gennemgåede sider der faktisk bliver gemt og kan vises i søgeresultaterne.
En side skal normalt crawles, før den kan indekseres, men crawling er ikke en garanti for indeksering. Tyndt, dubleret eller svagt indhold kan godt blive crawlet uden at blive optaget i indekset.
Ja, langsom svartid kan begrænse, hvor hurtigt og hvor mange sider Googlebot vil hente. Hvis serveren reagerer langsomt eller ustabilt, kan søgemaskinen sænke tempoet for at undgå at belaste sitet yderligere.
Det betyder i praksis, at færre sider kan blive crawlet inden for samme periode. Derfor er god ydelse også en del af teknisk SEO.
Serverlogfiler viser, hvilke URL’er søgemaskinernes robotter har besøgt, hvornår de gjorde det, og hvilken statuskode de fik tilbage. Det giver et mere præcist billede end kun at se på, hvilke sider du selv mener er vigtige.
Med loganalyse kan du opdage, om Googlebot bruger tid på fejl, parametre, omdirigeringer eller andre lavværdifulde sider. Du kan også se, om centrale URL’er bliver crawlet for sjældent.
Det afhænger af formålet. Noindex er relevant, når en side gerne må crawles, men ikke skal vises i søgeresultaterne. Blokering i robots.txt er relevant, når du vil forhindre crawling af bestemte områder helt.
De to metoder er ikke det samme og bør ikke bruges tilfældigt. Valget afhænger af, om søgemaskinen stadig skal kunne hente siden og se dens signaler, eller om siden slet ikke bør bruge crawl-ressourcer.