Robots.txt er en av de eldste og enkleste filene i webutviklingens historie — bokstavelig talt en tekstfil i rotmappen. Men den har fått fornyet relevans i 2026. Med fremveksten av AI-crawlere som GPTBot, ClaudeBot og PerplexityBot handler robots.txt ikke lenger bare om å styre Googlebot — det handler om hvem som skal få tilgang til innholdet ditt overhodet. Denne guiden dekker alt fra grunnleggende syntaks til avansert AI-bot-strategi.
Hva er robots.txt og hvordan fungerer det
Robots.txt er en tekstfil som ligger i rotmappen på nettstedet ditt (eksempel.no/robots.txt). Den forteller søkemotorer og andre crawlere hvilke deler av nettstedet de har tillatelse til å besøke, og hvilke de bør holde seg unna. Det er viktig å forstå at dette er en forespørsel, ikke en blokkeringsmekanisme — veloppdragne crawlere respekterer den, men ondsinnede bots kan ignorere den.
Når en crawler besøker nettstedet ditt, er robots.txt det første den leter etter. Hvis filen ikke finnes, antar crawleren at alt er tilgjengelig. Hvis filen finnes men er tom, gjelder det samme. Det er kun eksplisitte Disallow-regler som begrenser crawling.
I 2026 er robots.txt viktigere enn noensinne fordi antallet aktive crawlere har eksplodert. I tillegg til Googlebot, Bingbot og andre søkemotorer har du nå AI-treningscrawlere, AI-søkecrawlere, SEO-verktøycrawlere og et utall andre bots. Uten en gjennomtenkt robots.txt bruker du serverressurser på crawlere som ikke gir deg verdi.
Syntaks: User-agent, Allow, Disallow og Sitemap
Syntaksen i robots.txt er enkel, men presisjon er avgjørende. Én feil karakter kan blokkere hele nettstedet fra indeksering. Her er de viktigste direktivene du trenger å kjenne.
User-agent angir hvilken crawler regelen gjelder for. Bruk * for alle crawlere, eller spesifiser med navn: Googlebot, Bingbot, GPTBot, osv. Disallow angir stier som ikke skal crawles. Allow angir unntak fra Disallow-regler. Sitemap peker crawleren til XML-sitemapet ditt.
- User-agent: * — gjelder alle crawlere
- User-agent: Googlebot — gjelder kun Google
- Disallow: /admin/ — blokkerer alt under /admin/
- Allow: /admin/public/ — tillater unntak innenfor blokkert mappe
- Sitemap: https://eksempel.no/sitemap.xml — peker til sitemapet
- Crawl-delay: 10 — ber crawlere vente 10 sekunder mellom forespørsler (ignoreres av Google)
Strategisk blokkering: Hva bør du blokkere
Ikke alt på nettstedet ditt bør crawles. Strategisk blokkering handler om å dirigere crawl-budsjettet til sidene som faktisk gir verdi i søkeresultatene, og holde crawlere unna sider som sløser med ressurser.
Blokker admin-sider, staging-miljøer, handlekurv og checkout, bruker-dashboards, søkeresultatsider, filter- og sorteringssider med parametere, print-versjoner av sider, og API-endepunkter som ikke skal indekseres. For nettbutikker er det spesielt viktig å blokkere facettert navigasjon som genererer tusenvis av parameterbaserte URL-er.
Les vår guide til indeksoppblåsning for å forstå hvorfor dette er så viktig for større nettsteder.
Robots.txt vs noindex: Når bruker du hva
Dette er en av de vanligste forvirringene i teknisk SEO. Robots.txt og noindex gjør fundamentalt forskjellige ting, og å bruke feil verktøy kan gi katastrofale resultater.
Robots.txt hindrer crawling — det betyr at Google aldri ser innholdet på siden. Noindex (via meta-tag eller HTTP-header) ber Google om å ikke inkludere siden i indeksen, men Google må først crawle siden for å oppdage noindex-taggen. Problemet oppstår når du blokkerer crawling i robots.txt OG legger til noindex — Google kan aldri se noindex-taggen fordi den aldri crawler siden.
Bruk robots.txt for sider som bruker crawl-budsjett uten verdi (filtreringssider, duplisert innhold). Bruk noindex for sider som Google allerede crawler men som du ikke vil ha i indeksen (takkesider, intern søk). Les mer i vår teknisk SEO-sjekkliste.
AI-bot-håndtering: GPTBot, ClaudeBot og PerplexityBot
Her blir det virkelig interessant i 2026. Du har nå muligheten til å kontrollere om AI-selskaper kan bruke innholdet ditt til trening og om AI-søkemotorer kan vise innholdet ditt i genererte svar. Dette er to helt forskjellige beslutninger.
GPTBot (OpenAI) crawler for trening av språkmodeller. ChatGPT-User crawler for ChatGPT Search (sanntidssvar). ClaudeBot (Anthropic) crawler for trening. PerplexityBot crawler for Perplexitys søkesvar. Google-Extended kontrollerer om Google bruker innholdet til AI-trening (separat fra vanlig søk).
Vår anbefaling: Blokker AI-treningscrawlere (GPTBot, ClaudeBot, Google-Extended) med mindre du har en spesifikk grunn til å la dem trene på innholdet ditt. Men tillat AI-søkecrawlere (ChatGPT-User, PerplexityBot) — de sender trafikk tilbake til nettstedet ditt med siteringer. Les vår LLM-synlighetsguide for en dypere diskusjon om denne avveiningen.
- User-agent: GPTBot / Disallow: / — blokker OpenAI-trening
- User-agent: ChatGPT-User / Allow: / — tillat ChatGPT Search
- User-agent: ClaudeBot / Disallow: / — blokker Anthropic-trening
- User-agent: PerplexityBot / Allow: / — tillat Perplexity-søk
- User-agent: Google-Extended / Disallow: / — blokker Google AI-trening
Testing med Google Search Console
Google Search Console har et innebygd testverktøy for robots.txt under «Innstillinger > Crawling > robots.txt». Bruk dette verktøyet til å verifisere at reglene dine fungerer som forventet før du publiserer endringer.
Test spesifikke URL-er for å se om de er blokkert eller tillatt. Sjekk spesielt grensecasene — sider som ligger nær grensen mellom tillatt og blokkert. En enkelt feilplassert skråstrek kan gjøre at en hel mappe blir blokkert eller tillatt utilsiktet.
Vil du ha profesjonell hjelp med teknisk SEO og crawl-styring? LeapJet gjennomfører grundige tekniske revisjoner som dekker robots.txt, crawl-budsjett og indekseringsstrategi. Book en gratis analyse. Les også vår Google Search Console-guide.
Robots.txt-feil som dreper SEO
Den verste feilen er den enkleste: Disallow: / under User-agent: * blokkerer hele nettstedet fra all crawling. Vi har sett dette skje etter lansering av nye nettsteder der utviklerne glemmer å fjerne staging-robots.txt. Det tar ofte uker før noen oppdager det — og da har nettstedet falt ut av indeksen.
Andre kritiske feil inkluderer: blokkering av CSS- og JavaScript-filer (Google trenger disse for å rendre sidene korrekt), blokkering av bilder (de kan ikke vises i Google Bilder), og feil bruk av Crawl-delay som bremser indekseringen unødvendig.
En subtil men vanlig feil er å bruke robots.txt til å blokkere sider du vil ha ut av indeksen. Husk: robots.txt hindrer crawling, ikke indeksering. Hvis andre nettsteder lenker til en side du har blokkert i robots.txt, kan Google fortsatt indeksere URL-en (uten innholdet) basert på ankertekst og andre signaler.
Robots.txt for WordPress, Next.js og Shopify
Implementeringen varierer avhengig av plattform. I WordPress genereres robots.txt automatisk, men du bør tilpasse den med en plugin som Yoast SEO eller ved å redigere filen manuelt. Standard WordPress-robots.txt er for enkel for de fleste nettsteder.
I Next.js kan du plassere en statisk robots.txt i public-mappen, eller generere den dynamisk via en API-route. Dynamisk generering er nyttig hvis du vil ha forskjellige regler for staging og produksjon. I Shopify er robots.txt-filen automatisk generert og vanskelig å endre — du kan gjøre det via theme.liquid, men endringene er begrensede.
Uansett plattform: test alltid endringer i et staging-miljø før du publiserer til produksjon. Og ha en backup-plan — en feil i robots.txt kan gjøre mer skade på kort tid enn nesten alle andre tekniske SEO-endringer.
Eksempelmaler for vanlige scenarioer
Her er praktiske maler du kan bruke som utgangspunkt. Tilpass dem til ditt spesifikke nettsted — det finnes ingen universell robots.txt som passer alle.
For en bedriftsnettside: Blokker /admin/, /wp-admin/, /api/, /intern/ og søkeresultatsider. Tillat alt annet. Legg til Sitemap-referanse. For en nettbutikk: I tillegg til det over, blokker filtrerings-URL-er, handlekurv, checkout og brukerkonto-sider.
For AI-bot-strategi: Legg til separate blokker for hver AI-crawler du vil styre. Kombiner med vår ordliste for forklaringer av alle begreper brukt i denne artikkelen, og se /tjenester/seo for profesjonell hjelp med implementering.
Kilder
Google Search Central, "Robots.txt Specifications," 2025. Google Search Central, "Large Site Management and Crawl Budget," 2024. OpenAI, "GPTBot Documentation," 2024. Anthropic, "ClaudeBot Documentation," 2024. Perplexity, "PerplexityBot FAQ," 2025. Yoast, "WordPress Robots.txt Best Practices," 2025.
