Når en søgemaskine besøger et website, forsøger den at hente sider, billeder, filer og andre ressourcer. Crawl errors, eller crawlfejl, opstår, når det ikke lykkes helt eller delvist. Det betyder, at søgemaskinen ikke kan få adgang til indholdet eller ikke kan behandle det korrekt.
En crawl error kan for eksempel skyldes en side, der ikke findes, en server, der ikke svarer, eller en ressource, som er blokeret. Fejlen kan ramme én enkelt side, men den kan også påvirke større dele af et website, hvis problemet er mere omfattende.
For SEO er crawlfejl vigtige, fordi de kan gøre det sværere for søgemaskiner at forstå og indeksere indhold. Denne artikel gennemgår, hvilke typer crawl errors der findes, hvorfor de opstår, og hvordan de bør håndteres i praksis.
Gennemgangsfejl opstår ofte, når søgemaskinens robot ikke kan hente eller forstå en side som forventet. Nogle problemer ligger i infrastrukturen, andre i selve websitet. DNS-fejl betyder typisk, at domænet ikke kan slås korrekt op, så robotten slet ikke finder serveren. Serverfejl, ofte i form af 5xx-fejl, opstår derimod, når serveren svarer for langsomt, er overbelastet eller fejler midlertidigt. Et praktisk eksempel er en webshop, der fungerer normalt til daglig, men returnerer serverfejl under en stor kampagne, fordi hostingmiljøet ikke kan følge med.
En anden almindelig fejltype er 404-fejl. De opstår, når en side er slettet, flyttet eller aldrig har eksisteret, men stadig bliver forsøgt besøgt af søgemaskiner eller brugere. Det ses ofte efter ændringer i sidestruktur, hvor gamle produktsider eller kategorier ikke er blevet omdirigeret korrekt. Mange 404-fejl er ikke kritiske i sig selv, men de kan være et tegn på dårlig intern linkstruktur eller mangelfuld vedligeholdelse.
Blokeret adgang skyldes typisk, at robotten møder en adgangsbegrænsning, for eksempel en 403-fejl, login-beskyttelse eller sikkerhedsregler i serveropsætningen. Dertil kommer fejl i omdirigeringer, hvor kæder bliver for lange, peger forkert eller ender i et loop. Endelig giver robots.txt-relaterede problemer ofte forvirring: En vigtig mappe kan være blokeret ved en fejl, eller ressourcer som billeder, JavaScript og CSS kan være afskåret fra gennemgang. Et typisk eksempel er et testmiljø, hvor blokeringen ved en fejl følger med over på den offentlige version.
Når søgemaskiners crawlere ikke kan hente eller forstå en side korrekt, kan det få direkte betydning for synligheden i søgeresultaterne. Googlebot crawler først indholdet og vurderer derefter, om siden kan og bør indekseres. Hvis vigtige sider giver fejl, kan de derfor blive forsinket i indekset, opdateres for langsomt eller helt udelades. Det gælder især sider, der skal drive trafik, som kategorier, produkter og centrale informationssider.
Crawl errors påvirker også et websites crawl-budget, altså hvor mange ressourcer Googlebot bruger på at gennemgå sitet. Hvis crawlere gentagne gange møder serverfejl, blokerede ressourcer eller døde sider, kan en del af budgettet blive brugt uden værdi. Det kan betyde, at nye eller opdaterede sider bliver fundet senere, end de burde.
Det er dog vigtigt at skelne mellem fejltyper. Ikke alle fejl er kritiske for SEO. En 404-fejl på en gammel, bevidst fjernet side er ofte ufarlig, hvis den ikke længere har nogen funktion. Derimod er fejl på vigtige landingssider, interne links, JavaScript-filer eller XML-sitemaps mere alvorlige, fordi de kan begrænse adgang, forståelse og indeksering. Derfor handler arbejdet ikke om at fjerne enhver fejl, men om at prioritere dem, der reelt spærrer for crawling og synlighed.
Det mest direkte sted at starte er Google Search Console, fordi du her ser, hvilke sider Google ikke kan hente eller indeksere korrekt. Gå først til rapporten for Indeksering af sider og gennemgå fejl og advarsler. Kig især efter 404-fejl, soft 404, serverfejl, omdirigeringsproblemer og sider, der er blokeret utilsigtet. Åbn de berørte webadresser enkeltvis, og brug funktioner som inspektion af webadresse for at se, hvordan Google læser siden lige nu.
Supplér derefter med crawlstatistik, hvis den er tilgængelig i kontoen. Her kan du opdage mønstre som mange 5xx-fejl, langsomme svartider eller pludselige fald i antallet af crawlforespørgsler. Kontrollér også dit sitemap: Er de vigtigste sider med, returnerer de statuskode 200, og stemmer antallet af indsendte og indekserede sider nogenlunde overens? Uoverensstemmelser peger ofte på tekniske fejl eller svag intern struktur.
For at bekræfte problemerne i praksis bør du også se på serverlogfiler. Logfiler viser præcist, hvilke webadresser søgemaskinerne har besøgt, hvilken statuskode serveren returnerede, og om fejl rammer bestemte sektioner. Brug desuden eksterne SEO-værktøjer til at crawle websitet som en bot ville gøre det. De kan afsløre brudte links, kæder af omdirigeringer, kanoniske konflikter og sider, der kun er utilstrækkeligt forbundet. Sammen giver Search Console, logfiler og crawlværktøjer et langt mere præcist billede af fejlene.
Ikke alle crawl-fejl har samme betydning, så arbejdet bør begynde dér, hvor tabet er størst. Prioritér først fejl på sider og ressourcer med høj forretningsværdi, for eksempel vigtige kategorier, produktdetaljer, leadsider og centrale billeder eller scripts. Se derefter på omfanget: En enkelt 404-side er sjældent kritisk, men hundreder af fejl i et vigtigt sektionstræ kan skade både indeksering og brugeroplevelse. Fejltypen er også afgørende. 5xx-statuskoder og ustabil serverdrift bør typisk løses før mindre enkeltstående 404-fejl, fordi søgemaskiner kan få indtryk af, at sitet er upålideligt.
Arbejd systematisk med statuskoder. En 404 kan være korrekt, hvis indholdet er fjernet uden erstatning, men interne links til den side skal stadig rettes eller fjernes. Er der en relevant erstatning, bør siden som regel omdirigeres med en passende permanent omdirigering. 3xx-fejl kræver også opmærksomhed, især hvis der opstår kæder eller loops, som spilder crawl-budget og forsinker adgang til indholdet. 403- og 401-fejl skal vurderes ud fra hensigten: Beskyttede områder kan være legitime, mens utilsigtet blokering af vigtige sider eller ressourcer er et klart problem.
Til sidst bør den tekniske infrastruktur gennemgås. Kontrollér serverstabilitet, svartider og midlertidige nedbrud, da gentagne 5xx-fejl ofte peger på hosting, kapacitet eller applikationsfejl. Gennemgå også robots.txt, så vigtige sider, CSS- og JavaScript-filer ikke blokeres ved en fejl. En god proces er at identificere problemet, bekræfte årsagen, rette den direkte kilde og derefter validere, at søgemaskiner igen kan crawle siden eller ressourcen som forventet.
To sider kan give problemer i søgemaskiner af vidt forskellige grunde. Crawl errors handler om, at en robot ikke kan hente eller nå indholdet korrekt, for eksempel på grund af 404-fejl, serverfejl eller blokering i robots.txt. Indekseringsfejl opstår derimod, når siden godt kan læses, men alligevel ikke bliver gemt eller vist i søgemaskinens indeks.
Forskellen er vigtig i praksis. En side kan være fuldt tilgængelig for crawl, men stadig blive udeladt fra indekset, hvis den har et noindex-tag, meget tyndt indhold eller en kanonisk henvisning til en anden version. Her er der altså ikke tale om Crawl errors, men om et problem i vurderingen eller behandlingen af siden efter besøget.
Kort sagt: Crawl vedrører adgang, mens indeksering vedrører optagelse og synlighed. Når man skelner klart mellem de to typer fejl, bliver fejlsøgning hurtigere, og prioriteringen af SEO-arbejdet bliver mere præcis.
I praksis opstår crawl errors ofte i helt almindelige situationer på et website. Et typisk eksempel er en produktside, der er slettet, men stadig findes i interne links eller i Googles indeks. Når søgemaskinen besøger siden, møder den en 404-fejl. Den mest oplagte løsning er enten at genskabe siden, opdatere linket eller lave en relevant omdirigering til en tilsvarende produktside.
Et andet scenarie er en kategori, der midlertidigt giver 5xx-serverfejl. Her kan problemet skyldes overbelastning, fejl i systemet eller en mislykket opdatering. For søgemaskiner betyder det, at siden ikke kan crawles korrekt. Løsningen er som regel at få serveren stabil igen og kontrollere, at kategorien svarer normalt.
Der findes også fejl, som ikke handler om selve siden, men om dens ressourcer. Hvis en CSS-fil er blokeret i robots.txt, kan søgemaskinen have svært ved at forstå sidens layout og indhold korrekt. Det ses ofte efter tekniske ændringer. Den oplagte løsning er at fjerne blokeringen, så vigtige filer kan crawles sammen med siderne.
Er en 404-fejl altid et problem? Nej, ikke nødvendigvis. En 404 er korrekt, hvis siden er slettet og ikke har en relevant erstatning. Fejlen bliver først et SEO-problem, når vigtige sider returnerer 404 ved en fejl, eller når mange interne links peger på døde adresser. Hvis indholdet er flyttet, bør du normalt lave en 301-viderestilling.
Kan robots.txt give crawl errors? Ja. Hvis en vigtig side eller ressource blokeres i robots.txt, kan søgemaskiner få svært ved at crawle og forstå siden korrekt. Det gælder også filer som CSS og JavaScript, hvis de er nødvendige for rendering. En blokering er dog ikke det samme som en teknisk fejl hver gang, så du skal altid vurdere, om blokeringen er tilsigtet.
Hvor alvorlige er crawl errors? Det afhænger af typen og omfanget. Fejl på få, uvigtige URL’er er ofte begrænsede. Fejl på centrale landingssider, kategorier eller sider med mange interne links kan derimod påvirke både indeksering, brugeroplevelse og organisk trafik. Prioritér derfor fejl efter forretningsværdi og hvor mange sider de berører.
Hvor hurtigt registrerer Google en rettelse? Det varierer. Nogle rettelser opdages hurtigt, især på sider der crawles ofte, mens andre kan tage dage eller uger. Du kan ikke tvinge processen helt, men du kan hjælpe den på vej ved at sikre korrekte statuskoder, opdatere interne links og gøre siden teknisk tilgængelig. Hvad bør du gøre først? Start med at rette de vigtigste fejl, test dem, og bekræft derefter, at siden returnerer den rigtige respons.
Crawl errors kan gøre det sværere for søgemaskiner at hente og forstå dine sider. Hvis vigtige webadresser eller ressourcer ikke kan crawles, kan indeksering blive forsinket, og opdateringer kan slå langsommere igennem i søgeresultaterne.
Effekten afhænger af, hvor fejlen opstår. Fejl på centrale landingssider, kategorier, produktdetaljer, billeder eller scripts er typisk mere alvorlige end fejl på gamle eller uvigtige URL’er.
De mest almindelige typer er DNS-fejl, serverfejl, 404-fejl, blokeret adgang og problemer med omdirigeringer. Der kan også opstå fejl, hvis robots.txt utilsigtet afskærer sider eller filer, som søgemaskinen har brug for.
I praksis handler det om, at crawleren enten ikke kan finde serveren, ikke får et brugbart svar, bliver sendt forkert rundt eller møder en side eller ressource, som ikke længere er tilgængelig.
Start i rapporten for indeksering af sider, hvor Google viser fejl og årsager på de berørte URL’er. Her kan du ofte se problemer som 404, serverfejl, soft 404, omdirigeringsfejl og blokeringer.
Brug derefter inspektion af webadresse på konkrete sider for at kontrollere, hvordan Google oplever dem nu. Det er også en god idé at sammenholde fundene med sitemap, crawlstatistik og eventuelt serverlogfiler.
Ja, en 404 kan indgå som en crawlfejl, fordi søgemaskinen forsøger at hente en side, som ikke findes. Men det betyder ikke automatisk, at det er et alvorligt SEO-problem.
Hvis siden med vilje er fjernet og ikke har en relevant erstatning, kan en 404 være helt korrekt. Problemet opstår især, når vigtige sider returnerer 404 ved en fejl, eller når interne links stadig peger på døde adresser.
Crawl errors handler om adgang: Søgemaskinen kan ikke hente siden eller dens ressourcer korrekt. Det kan skyldes for eksempel serverfejl, manglende sider eller blokeringer.
Indekseringsfejl opstår senere i processen. Her kan siden godt crawles, men den bliver alligevel ikke optaget i indekset, for eksempel på grund af noindex, kanonisk henvisning eller utilstrækkeligt indhold.
Ja, det kan ske, hvis robots.txt blokerer sider eller filer, som søgemaskinen skal kunne tilgå. Det gælder især CSS-, JavaScript- og billedfiler, hvis de er nødvendige for at forstå eller gengive siden korrekt.
En blokering er dog ikke nødvendigvis en fejl. Mange websites bruger robots.txt bevidst. Problemet opstår, når vigtige områder bliver afskåret ved en fejl, for eksempel efter en lancering eller flytning fra testmiljø.
Først skal du finde årsagen til de 5xx-fejl, som serveren returnerer. Det kan være overbelastning, fejl i kode, plugins, databaseproblemer eller utilstrækkelig hostingkapacitet. Serverlogfiler og overvågning er ofte den hurtigste vej til en præcis diagnose.
Når årsagen er rettet, bør du teste de berørte sider igen og sikre, at de svarer med korrekt statuskode, normalt 200. Hvis problemet har ramt mange vigtige sider, bør du også følge op i Google Search Console for at se, om Google registrerer den forbedrede stabilitet.
Alvorligheden afhænger af fejltypen, omfanget og hvilke sider der er ramt. Enkelte fejl på uvigtige URL’er har ofte begrænset betydning, mens fejl på centrale sider kan påvirke både indeksering og synlighed mærkbart.
Særligt gentagne serverfejl, fejl i interne links og problemer på sider med stor forretningsværdi bør tages alvorligt. Det er altså ikke antallet alene, men den konkrete betydning for sitets vigtigste indhold, der afgør prioriteten.
Begynd med de fejl, der rammer sider eller ressourcer med høj værdi, som kategorier, produkter, servicesider og vigtige scripts. Derefter bør du se på omfanget: Et systematisk problem på mange sider er normalt vigtigere end en enkeltstående fejl.
Som tommelfingerregel bør ustabile serverfejl og kritiske blokeringer løses før isolerede 404-fejl. Vurder også, om problemet påvirker intern linkstruktur, sitemap eller rendering, fordi den slags fejl ofte får bredere konsekvenser.
Ja. Hvis interne links peger på URL’er, der er slettet, flyttet forkert eller returnerer fejl, sender du både brugere og søgemaskiner hen til adresser, der ikke fungerer. Det skaber unødige crawlfejl og spilder søgemaskinens ressourcer.
Derfor bør interne links opdateres, når indhold ændres eller flyttes. Det er ikke nok kun at lave en omdirigering, hvis du stadig har mange interne henvisninger til gamle adresser.
Det varierer fra side til side. URL’er, som Google crawler ofte, kan blive genbesøgt hurtigt, mens mindre vigtige sider kan tage længere tid. Det kan derfor gå fra få dage til flere uger, før ændringen er tydelig i rapporterne.
Du kan hjælpe processen ved at sikre korrekt statuskode, opdatere interne links, holde sitemap ajour og bruge inspektion af webadresse i Google Search Console. Det vigtigste er dog, at fejlen faktisk er løst stabilt og ikke kun midlertidigt.