Med robots.txt bestemmer dere hvilke KI-roboter som får hente nettsiden. De fleste B2B-selskaper vil være synlige i ChatGPT, Claude og Perplexity, og må da slippe inn søkerobotene deres. Treningsrobotene kan dere stenge ute for seg, uten at det påvirker søkesvarene. Under er tre maler, hvilke roboter som gjør hva, og fire feil som gjør at reglene ikke virker.
Med robots.txt bestemmer dere hvilke KI-roboter som får hente nettsiden. De fleste B2B-selskaper vil være synlige i ChatGPT, Claude og Perplexity, og må da slippe inn søkerobotene deres. Treningsrobotene kan dere stenge ute for seg, uten at det påvirker søkesvarene. Under er tre maler, hvilke roboter som gjør hva, og fire feil som gjør at reglene ikke virker.
OpenAI, Anthropic og Perplexity har hver flere roboter med ulik jobb, og de styres hver for seg:
| Robot | Jobb | Følger robots.txt? |
|---|---|---|
| OAI-SearchBot | Viser nettsteder i ChatGPT-søk | Ja |
| GPTBot | Henter innhold som kan brukes til å trene OpenAIs modeller | Ja |
| ChatGPT-User | Henter en side når en bruker ber ChatGPT om det | Ikke nødvendigvis |
| Claude-SearchBot | Indekserer innhold for søkesvar i Claude | Ja |
| ClaudeBot | Henter innhold som kan brukes til å trene Anthropics modeller | Ja |
| Claude-User | Henter en side når en bruker ber Claude om det | Ja |
| PerplexityBot | Bygger søkeindeksen til Perplexity, brukes ikke til trening | Ja |
| Perplexity-User | Henter en side når en bruker stiller et spørsmål | Som regel ikke |
| Google-Extended | Trening og bruk i andre Google-systemer, ikke vanlig søk | Ja |
Google-Extended påvirker ikke Google-søk. AI Overviews og AI Mode styres med Googlebot, og stenger dere ute Googlebot, forsvinner dere fra søket. Bing er det samme: Copilot bygger på Bing-indeksen, og det styres med noindex og noarchive på sidene, ikke med robots.txt.
Dette er standarden når robots.txt ikke nevner KI-robotene. Alle kan hente sidene, også til trening. springagency.com har i dag ingen egne regler for KI-robotene, så der slipper alle inn.
User-agent: *
Allow: /
Sitemap: https://www.eksempel.no/sitemap.xmlDette er det vanligste valget for selskaper som vil vises i KI-svarene, men ikke vil at innholdet skal trene modellene.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://www.eksempel.no/sitemap.xmlOAI-SearchBot, Claude-SearchBot og PerplexityBot følger da gruppen for alle, og slipper inn. OpenAI sier at innstillingene er uavhengige: En side kan vises i søket uten å brukes til trening.
User-agent: OAI-SearchBot
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Disallow: /
User-agent: *
Allow: /Det stenger ikke dere ute av Copilot, som bruker Bing. Robotene som henter på brukerens oppfordring, kan også ignorere reglene. Trengs en hard stopp, må det gjøres i brannmuren, med både robotnavn og IP-adresser.
En robot som har sin egen User-agent-gruppe, følger bare den gruppen og ignorerer gruppen for alle. Har dere regler under User-agent: *, for eksempel for forhåndsvisninger eller søkesider, må de gjentas i hver egen gruppe dere vil at de skal gjelde for.
Mange CDN-er og brannmurer blokkerer KI-roboter som standard. Da hjelper det ikke å åpne i robots.txt. Sjekk innstillingene der også, og slipp gjennom IP-adressene OpenAI og Perplexity publiserer.
En side som er stengt i robots.txt, kan fortsatt dukke opp i søk hvis andre lenker til den. Skal en side ut av Google eller Bing, bruk noindex på siden, og la robotene få hente den så de ser det.
robots.txt gjelder bare domenet den ligger på. Har dere egne subdomener, som et kunnskapssenter eller en nettbutikk, trenger hvert av dem sin egen fil.
Etter endringen tar det rundt et døgn før OpenAI og Perplexity tar den i bruk, ifølge dem selv. Hos Google kan det ta fra dager til måneder før alle sidene er hentet på nytt.
Nei, ikke ifølge OpenAI og Anthropic. Søkerobotene og treningsrobotene styres hver for seg, så mal B holder dere synlige i søkesvarene.
xAI har ikke publisert hvilke roboter Grok bruker, og en uavhengig test fant at Grok hentet sider med vanlige nettlesernavn. Robots.txt kan derfor ikke styre Grok på en pålitelig måte.
Den skader ikke, men Google sier at det ikke trengs egne KI-filer. Det som avgjør, er at robotene slipper inn og at sidene svarer godt. Hvordan sidene bør skrives, har vi gått gjennom i artikkelen om synlighet i KI-søk.
Vi går gjennom robots.txt, brannmur og indeksering på alle domenene til kunden, avtaler hvilken mal som passer, og sjekker etterpå i loggene og i KI-tjenestene at sidene blir hentet. Det er en del av arbeidet vårt med SEO og synlighet i KI-søk.
En nettside skaffer kunder når den besøkende forstår hva dere tilbyr, ser hva neste steg er og kan ta det uten å lete. I praksis handler det om fem ti…
