Et robots meta tag er et HTML-tag, der giver søgemaskiner instruktioner for en bestemt side. Det bruges til at styre, om siden må indekseres, og hvordan dens indhold må vises i søgeresultater. Derfor er det et sidebaseret signal, ikke en regel for hele webstedet.
Tagget placeres i sidens head-sektion. En typisk instruktion kan være index eller noindex, og der kan også angives direktiver som follow eller nofollow for links på siden.
Det er vigtigt at skelne mellem crawling og indeksering. Crawling betyder, at søgemaskinens robot besøger og læser siden. Indeksering betyder, at siden gemmes og kan vises i søgeresultaterne. Et robots meta tag bruges især til at påvirke indeksering og visning, ikke til at forhindre selve besøget.
På sideniveau fortæller robots meta tag søgemaskinen, hvordan den skal behandle den enkelte side. Det har især betydning for to ting: om siden må komme med i søgemaskinens indeks, og om søgemaskinen må følge de links, der findes på siden. Derfor bruges tagget til at styre synlighed og crawling mere præcist end regler, der gælder for hele webstedet.
Værdien index betyder, at siden gerne må indekseres og i princippet kan vises i søgeresultater. Noindex betyder det modsatte: siden må godt crawles, men den skal ikke gemmes i indekset som en side, der kan vises. Det er nyttigt på for eksempel takkesider, interne søgeresultater eller andre sider, man ikke ønsker frem i Google og andre søgemaskiner.
Den anden del handler om links. Follow fortæller, at søgemaskinen gerne må følge linkene på siden og bruge dem til at finde andet indhold. Nofollow siger, at linkene ikke skal følges fra netop denne side. I praksis kan man altså kombinere direktiverne, for eksempel noindex, follow, hvis en side ikke selv skal i indeks, men stadig gerne må lede søgemaskinen videre til andre vigtige sider.
Robots meta tag bruges til at styre, hvordan søgemaskiner må behandle en side i søgeresultaterne. Det mest centrale direktiv er noindex, som betyder, at siden ikke skal vises i indekset. Det bruges ofte på takkesider, interne søgeresultater og andre sider uden selvstændig SEO-værdi. Nofollow fortæller derimod søgemaskinen, at links på siden ikke skal følges som almindelige signaler. I praksis bruges det sjældnere på hele sider, fordi det ofte er mere præcist at styre enkelte links direkte.
Noarchive forhindrer søgemaskinen i at vise en cachelagret version af siden i søgeresultaterne. Det kan være relevant ved indhold, der ændrer sig hurtigt, eller hvor man ikke ønsker ældre versioner vist. Nosnippet betyder, at søgemaskinen ikke må vise tekstuddrag under sidens resultat. Det kan være nyttigt ved følsomt indhold, men det kan også gøre resultatet mindre synligt og mindre klikvenligt.
Et enkelt eksempel ser sådan ud: <meta name=”robots” content=”noindex, nofollow”>. Hvis målet kun er at forhindre cachevisning, kan man i stedet bruge <meta name=”robots” content=”noarchive”>. Direktiverne bør vælges med omtanke, fordi de påvirker både synlighed, klikrate og søgemaskinens forståelse af siden. Især noindex bør bruges præcist, så vigtige landingssider ikke fjernes ved en fejl.
De tre løsninger bruges til forskellige formål, og det er netop derfor, de ofte skaber forvirring. Meta robots-tag styrer, hvad søgemaskiner må gøre med en bestemt HTML-side, for eksempel om siden må indekseres, eller om links på siden må følges. Det placeres i sidens kode og er derfor bedst egnet til almindelige websider, hvor du vil styre indeksering på sideniveau.
X-Robots-Tag gør i praksis noget lignende, men sendes i serverens HTTP-header i stedet for at ligge i HTML-koden. Det er især nyttigt til filer, der ikke har et normalt head-felt, som for eksempel PDF-filer, billeder eller andre dokumenter. Hvis du vil forhindre indeksering af sådanne filer, er X-Robots-Tag som regel det rigtige valg. Det kan også bruges bredt på serverniveau, hvis mange filer skal have samme regel.
robots.txt bruges derimod ikke til at styre indeksering direkte på samme måde. Den fortæller primært søgemaskiners robotter, hvilke områder de ikke bør crawle. Det er altså en metode til crawlstyring, ikke en sikker måde at fjerne sider fra søgeresultater på. Hvis en side er blokeret i robots.txt, kan søgemaskinen i nogle tilfælde stadig kende adressen og vise den uden indhold.
Kort sagt: Brug meta robots-tag til HTML-sider, X-Robots-Tag til filer og headerstyrede regler, og robots.txt til at begrænse crawl. De bør ikke forveksles, fordi de styrer forskellige led i søgemaskinens arbejde.
Noindex er nyttigt, når en side ikke bør kunne findes via søgemaskiner, selv om den stadig skal være tilgængelig for brugere. Det gælder især indhold med lav selvstændig værdi, som ikke fortjener en plads i søgeresultaterne. Et typisk eksempel er interne søgeresultater, hvor siderne ofte bliver tynde, skifter hele tiden og sjældent giver en god landingsoplevelse.
Direktivet kan også være relevant på testsider, midlertidige kampagnesider eller dublerede varianter, som ikke er klar til offentlig synlighed. Har du for eksempel en staging-lignende side, en næsten tom tag-side eller et filterresultat uden unik værdi, kan noindex forhindre unødvendig indeksering. I sådanne tilfælde hjælper det med at holde sitet mere fokuseret.
Til gengæld bør vigtige landingssider normalt ikke have noindex. Det gælder centrale kategorisider, servicesider, produktsider og andet indhold, der skal tiltrække organisk trafik. Hvis en side har potentiel søgeværdi, gode konverteringsmuligheder eller understøtter forretningens vigtigste søgeord, vil noindex som regel skade mere, end det gavner.
En af de mest kostbare fejl opstår, når siden sender modstridende signaler til søgemaskinerne. Det ses for eksempel, hvis en side har noindex, men samtidig peger på sig selv eller en anden vigtig side med et canonical tag. I praksis vil noindex som regel veje tungest, og resultatet kan være, at siden slet ikke bliver vist i søgeresultaterne. Det koster synlighed, selv når indholdet ellers er relevant og teknisk velfungerende.
En anden klassiker er utilsigtet noindex på vigtige sider som kategorier, produkter, guides eller landingssider. Fejlen opstår ofte efter testmiljøer, migreringer eller fejlagtige standardindstillinger i CMS, hvor nye sidetyper automatisk får forkerte robots-meta-tags. Konsekvensen er direkte: sider, der burde tiltrække organisk trafik, bliver udeladt fra indekset, og eksisterende placeringer kan forsvinde.
Mange forveksler også robots meta tag med regler i robots.txt. De to værktøjer har forskellige formål. Robots.txt kan begrænse crawling, men det er ikke det samme som at styre indeksering præcist på sideniveau. Hvis en vigtig side er blokeret i robots.txt, kan søgemaskinen have svært ved at læse dens robots meta tag. Det skaber usikker indeksering og kan føre til, at siden enten ikke bliver forstået korrekt eller fortsat vises på et uønsket grundlag.
Begynd med at kontrollere, om direktivet faktisk ligger i sidens HTML. Åbn sidekilden og find meta name=”robots”. Her skal indholdet svare præcist til det, du vil opnå, for eksempel index, follow eller noindex, nofollow. Tjek også, at der ikke findes flere robots-meta-tags med modstridende værdier på samme side.
Brug derefter browserens inspektionsværktøj til at se den færdige kode, som browseren modtager. Det er vigtigt på sider, hvor indhold eller head-elementer indsættes via scripts. Hvis tagget kun findes i en skabelon, men ikke i den renderede side, kan søgemaskiner læse noget andet end forventet.
Afslut i Google Search Console. Undersøg den konkrete side og se, om den kan indekseres, eller om den er blokeret af noindex. Sammenhold resultatet med sidekilden og browserinspektionen. Hvis Search Console viser noget andet end din kode, bør du kontrollere cache, skabeloner, plugins og eventuelle regler, der overskriver direktivet på enkelte sider.
Et robots meta tag er et HTML-metaelement, der giver søgemaskiner besked om, hvordan en bestemt side må behandles. Det bruges især til at styre, om siden må indekseres, og om links på siden må følges.
Tagget gælder normalt kun for den enkelte side, hvor det er indsat. Det gør det velegnet, når du vil styre synlighed præcist på sideniveau.
Robots meta tag styrer, hvordan en konkret side må indekseres og vises i søgeresultaterne. Robots.txt bruges derimod primært til at fortælle crawlere, hvilke områder de ikke bør besøge.
Det er en vigtig forskel, fordi robots.txt ikke er en sikker metode til at fjerne sider fra indeks. Hvis du vil forhindre, at en HTML-side vises i søgeresultater, er noindex i et robots meta tag ofte det relevante værktøj.
Et robots meta tag placeres i sidens head-sektion. Det skal altså ligge i den del af HTML-koden, hvor andre metadata som titel og meta description normalt findes.
Et typisk eksempel er: <meta name=”robots” content=”noindex, follow”>.
Noindex bruges, når en side ikke bør vises i søgeresultater, selv om den stadig skal kunne tilgås af brugere. Det kan for eksempel være interne søgeresultater, takkesider, testsider eller tynde filter- og tagsider uden selvstændig værdi.
Du bør som udgangspunkt undgå noindex på sider, der skal skaffe organisk trafik, som kategorisider, produktsider og vigtige landingssider.
Nofollow betyder, at søgemaskinen får besked om ikke at følge links på den pågældende side som normale crawl- og signalveje. Direktivet gælder altså links på siden, ikke selve sidens mulighed for at blive indekseret.
I praksis bruges det mindre ofte på sideniveau end tidligere. Ofte er det mere præcist at styre enkelte links direkte i stedet for at sætte nofollow for hele siden.
Nej, ikke på samme måde som robots.txt. Et robots meta tag bruges primært til at styre indeksering og visning, men søgemaskinen skal normalt først kunne hente siden for at læse direktivet.
Hvis målet er at begrænse adgang for crawlere til bestemte områder, er robots.txt eller andre serverbaserede løsninger mere relevante. Hvis målet er at forhindre visning i søgeresultater, er noindex det centrale direktiv.
Noindex betyder, at siden ikke skal indekseres og vises i søgeresultater. Disallow er en regel i robots.txt, som fortæller crawlere, at de ikke bør besøge den angivne adresse eller mappe.
Forskellen er vigtig, fordi en blokeret side i nogle tilfælde stadig kan dukke op i søgeresultaterne, hvis søgemaskinen kender adressen fra andre kilder. Noindex er derfor det mere direkte signal, når du vil holde en side ude af indekset.
Start med at se sidekilden og kontrollér, at tagget faktisk findes i HTML-koden, og at værdien er korrekt. Tjek også, at der ikke ligger flere robots-meta-tags med modstridende instruktioner.
Derefter kan du bruge Google Search Console til at undersøge den konkrete URL. Her kan du se, om siden er indekserbar, eller om den er udelukket på grund af noindex.
X-Robots-Tag bruges især, når du vil sende robots-direktiver via HTTP-headeren i stedet for i HTML. Det er nyttigt til filer som PDF’er, billeder og andre dokumenter, hvor du ikke kan indsætte et almindeligt meta tag i et head-felt.
Det kan også være en praktisk løsning, hvis du vil styre mange filer eller filtyper samlet på serverniveau.
Ja, flere direktiver kan samles i samme robots meta tag. Et almindeligt eksempel er noindex, follow, hvor siden ikke skal indekseres, men links på siden stadig gerne må følges.
Det er vigtigt, at kombinationen er logisk og ikke skaber tvivl. Hold derfor opsætningen enkel, og undgå modstridende eller unødvendige direktiver.