Hvad er robots.txt?
Robots.txt er en tekstfil, du placerer i roden af dit website for at fortælle søgemaskiner, hvilke sider de må og ikke må crawle. Når eksempelvis Googlebot besøger din side, tjekker den automatisk filen på https://ditdomæne.dk/robots.txt, før den begynder at indeksere dit indhold. Det sker, fordi filen fungerer som et sæt instruktioner – ikke som en teknisk spærring. Søgemaskinen vælger frivilligt at respektere anvisningerne ud fra den fælles såkaldte Robot Exclusion Protocol.
Filen er en de-facto standard i søgemaskineoptimering, og den spiller en central rolle i, hvordan du kontrollerer, hvilke sider der får opmærksomhed i søgeresultaterne. I praksis kan du bruge den til at undgå, at irrelevante sider – som interne ressourcer, testmiljøer eller dubleret indhold – sluger crawlbudget. Det handler med andre ord om at styre, hvordan søgemaskiner interagerer med din digitale infrastruktur.
Hvordan bruger du robots.txt?
Når du arbejder med SEO eller teknisk optimering, udnytter du robots.txt til at styre adgangen for forskellige bots. Du kan give generelle instruktioner til alle crawlere eller tilpasse reglerne til specifikke user-agents. Direktivet User-agent definerer hvilken robot reglen gælder for, Disallow fortæller hvilke stier den ikke må tilgå, og Allow kan tilsidesætte en blokering for bestemte mapper eller filer. Du kan også tilføje et Sitemap-direktiv, der guider søgemaskiner direkte til dit XML-sitemap, så indekseringen bliver mere effektiv.
Eksempel på en simpel struktur:
User-agent: *
Disallow: /admin/
Allow: /public/
Sitemap: https://eksempel.dk/sitemap.xmlSøgemaskiner som Google følger den nyeste standard (RFC 9309), og derfor er det vigtigt, at du formaterer filen korrekt. Hvis du laver fejl i strukturen, kan robotterne misforstå dine regler og potentielt udelukke hele sitet fra indeksering. Derfor bør du altid teste din fil, før du uploader den.
Derfor skal du bruge robots.txt
Ved at styre, hvor søgemaskiner crawler, hjælper du både din server og din synlighed. Når du blokerer uvedkommende eller teknisk indhold, sparer du crawlressourcer, så robotterne bruger deres tid på de sider, der faktisk har værdi for søgninger. Det har betydning for din SEO-strategi, fordi søgemaskiner arbejder med begrænset crawlbudget. Hvis du lader bots spilde tid på ligegyldige undersider, risikerer du, at de vigtigste sider ikke bliver opdateret lige så ofte.
I nogle tilfælde handler det også om sikkerhed og performance. Du kan for eksempel forhindre, at filsider i /backup/ eller scriptmapper bliver gennemsøgt. Robots.txt beskytter dog ikke mod adgange fra ondsindede aktører, da enhver kan se og ignorere filen. Den fungerer udelukkende som en retningslinje, ikke som et teknisk værn. Derfor bør du kombinere den med andre løsninger som korrekt brug af noindex-tags, loginbeskyttelse eller adgangsbegrænsning via din webserver.
Hvilke typer og varianter findes der?
Robots.txt arbejder med nogle få, men vigtige direktiver. De mest almindelige er:
- User-agent: Angiver hvilken bot en instruks gælder for, fx * for alle eller Googlebot for Googles crawler.
- Disallow: Forhindrer adgang til en sti eller fil.
- Allow: Tillader adgang, selvom et overordnet Disallow gælder.
- Sitemap: Henviser til dit sitemap, som hjælper søgemaskiner med bedre dækning af dit indhold.
Når du arbejder på tværs af underdomæner eller protokoller (http/https), kræver hver version sin egen robots.txt-fil. Hvis du ikke har nogen fil, betragter søgemaskiner det som fuld adgangstilladelse. Det er derfor bedre at have en eksplicit konfiguration, også selvom du giver fri adgang – så undgår du misforståelser.
Hvordan bruger du robots.txt i praksis?
Du opretter filen i en teksteditor og gemmer den som “robots.txt” i din rodramme. Placer den, så den er tilgængelig direkte på domæneroden, ikke i en undermappe. Upload den herefter via FTP eller dit CMS’ filhåndtering. Mange vælger at kombinere arbejdet med robots.txt med struktureret data og sitemapoptimering, fordi det tilsammen styrker helheden i søgemaskinernes forståelse af dit site.
For at sikre, at filen fungerer som forventet, kan du teste den i Google Search Console under robots.txt-værktøjet. Her ser du, hvilke linjer Google følger, og om nogle regler konflikter. Hvis du arbejder med kampagnesites, subdomæner eller internationale versioner, kan du tilpasse dine direktiver per land eller sprogversion. Det sikrer sammenhæng mellem SEO-opsætningen, de betalte kampagner i Google Ads og den overordnede digitale strategi.
Hvad skal du være opmærksom på?
Robots.txt er et simpelt værktøj, men du kan skabe store problemer med små fejl. Et enkelt ekstra skråstreg eller forkert case kan ændre betydningen fuldstændigt, fordi sproget i filen er case-sensitive. Sørg derfor for, at du altid afprøver dine regler i testmiljø, før du publicerer dem. Og husk, at ændringer kan tage tid, før søgemaskinerne opdager dem igen.
Du skal også huske, at robots.txt kun styrer crawling – ikke indeksering. Hvis du vil forhindre sider i at dukke op i søgeresultater, skal du bruge et noindex-tag i HTML’en eller HTTP-headeren. Kombinerer du de to strategisk, får du langt bedre kontrol over, hvordan dit indhold fremstår i søgninger. Med andre ord hænger robots.txt tæt sammen med både SEO, webstruktur og serveradministration, når du vil skabe et sikkert, effektivt og velindekseret website.
