Din robots.txt siger nej til AI. Kun én af linjerne bliver læst

Rækkefølgen, med datoer

Der er sket fire ting på under et år, som tilsammen har gjort robots.txt til et dårligere sted at træffe AI-beslutninger, end den var i forvejen. De hænger sammen, men er blevet dækket hver for sig.

Content-Signal: 3,8 millioner domæner, nul modtagere

Cloudflare annoncerede Content Signals Policy den 24. september 2025 og slog den til i managed robots.txt på over 3,8 millioner domæner. Syntaksen er tre signaler — search, ai-input og ai-train — sat som yes, no eller udeladt. Standarden blev search=yes, ai-train=no, med ai-input udeladt, altså: du må gerne indeksere mig, du må ikke træne på mig, og jeg tager ikke stilling til, om du må bruge mig som kilde i et AI-svar lige nu.

Det er en velskrevet politik. Problemet er modtagersiden. Den 6. juli 2026 skrev John Mueller fra Google på Reddit, at ingen crawlere eller sprogmodeller så vidt han ved bruger content-signal-direktiverne, at det ikke har nogen effekt overhovedet, og at det alene tilføjer fyld og fremtidig vedligeholdelse til filen. Search Engine Roundtable refererede udtalelsen samme dag.

Cloudflare har for så vidt aldrig lovet andet. Politikken siger selv, at signalerne udtrykker præferencer og ikke er tekniske modforanstaltninger mod scraping, og anbefaler at kombinere dem med WAF-regler og Bot Management. Det står bare i afsnittet, ingen læser. Nettoresultatet er millioner af robots.txt-filer, der indeholder en juridisk formuleret hensigtserklæring, som ingen maskine på den anden side parser.

Tokenet der skiftede navn under dig

Den 17. juli 2026 omdøbte Google user-agent-tokenet Google-NotebookLM til Google-GeminiNotebook som del af produktomdøbningen til Gemini Notebook. Google skrev, at det gamle navn fortsat understøttes i en overgangsperiode, og at den periode slutter i august 2026 — detaljerne blev gengivet her.

Det er den type ændring, der ikke fejler nogen steder. Din robots.txt validerer fint. Der kommer ingen advarsel i Search Console. Reglen står der stadig, læselig og velmenende, og matcher bare ingenting længere. Hvis du skrev linjen i efteråret 2025, fordi en artikel anbefalede det, har du i praksis haft en tom regel siden engang i august.

Den generelle pointe er værre end det enkelte token: en robots.txt-regel er en streng, der skal matche et navn, som en anden virksomhed ejer og kan ændre uden at spørge dig. Det er ikke en holdbar kontrakt. Det er en hardcodet reference til tredjeparts navngivning, og vi ved godt, hvordan de plejer at gå.

De fetchers der aldrig læser filen

Der er en kategori mere, som gør det hele akademisk. Googles dokumentation for user-triggered fetchers slår fast, at fordi hentningen er bestilt af en bruger, ignorerer disse fetchers generelt reglerne i robots.txt. Det er ikke en fejl eller et smuthul — det er den erklærede designbeslutning. Når et menneske indsætter din URL i et værktøj og beder om et resumé, betragtes hentningen som brugerens handling, ikke som crawling.

Det betyder, at en pæn del af den AI-læsning, der faktisk foregår på dit site, sker i en trafikklasse, hvor robots.txt per definition ikke er i spil. Du kan skrive alle de Disallow-linjer, du vil. Filen bliver ikke hentet, og hvis den bliver, bliver den ikke adlydt.

Google-Extended virker — men ikke til det, folk bruger den til

Google-Extended er den ene, der gør noget. Den styrer, om dit indhold må bruges til at træne kommende Gemini-modeller og til grounding, altså til at forsyne et AI-svar med aktuel information.

Her kommer den misforståelse, jeg oftest støder på. Mange blokerer Google-Extended for at slippe ud af AI-svarene i søgeresultaterne. Det virker ikke. Googles egen dokumentation siger, at Google-Extended hverken påvirker et sites optagelse i Google Search eller bruges som rangeringssignal, og at det ikke er en metode til at styre, hvordan dit indhold optræder i Google Search. AI Overviews bygger på søgeindekset, som Googlebot fylder. Vil du ud af søgeindekset, er værktøjet noindex, og så er du også ude af de blå links. Det er den handel, der reelt ligger på bordet.

Så: Google-Extended er et træningsvalg, ikke et synlighedsvalg. Det er en fin ting at tage stilling til. Det er bare ikke svaret på det spørgsmål, de fleste stiller.

Den rækkefølge, der holder

Hvis du vil have en AI-politik, der stadig virker om et halvt år, er strukturen vigtigere end de konkrete linjer. Rækkefølgen jeg bruger:

1. Mål før du blokerer. Start i serverlogs eller Cloudflares analytics, ikke i en artikels liste over bots. Du skal vide, hvilke user-agents der faktisk henter fra dit domæne, og hvor meget. Halvdelen af de tokens, folk blokerer, har aldrig rørt deres site.
2. Beslut per formål, ikke per bot. Tre spørgsmål: må mit indhold indekseres, må det bruges som kilde i et AI-svar, må det bruges til træning. Svarene er stabile. Bot-navnene er ikke.
3. Håndhæv der, hvor et afslag er et afslag. Alt du reelt vil forhindre, hører hjemme i WAF-regler på user-agent, ASN og adfærd — ikke i en tekstfil, modparten selv vælger, om den vil læse. Cloudflare anbefaler det samme i sin egen politik.
4. Behold robots.txt til crawl-styring. Den er stadig det rigtige sted at holde crawlere væk fra facetteret navigation, søgeresultater og endeløse parameter-URL'er. Det er den opgave, filen er god til, og den opgave er ikke blevet mindre relevant.
5. Sæt en genbesøgsdato. Fordi tokens skifter navn. To gange om året er nok; læg den samme dag som din gennemgang af Search Console-rapporterne.

Og hold øje med rækkefølgen af begivenheder generelt. Da Google udsendte August 2026 spam update den 18. august — globalt og på alle sprog — var der en pæn mængde sites, der tilskrev udsving til ændringer i deres robots.txt fra ugerne før. Det er sjældent det samme lag, og datoerne er offentlige. Skriv dem ned, før du forklarer et fald.