Én linje i robots.txt siger nej til AI-træning. Hos Google koster den også Gemini-citeringerne

Hvad der blev annonceret 30. oktober

Google, Microsoft, OpenAI og Anthropic meldte samme dag ud, at de vil følge én fælles gruppe i robots.txt til at udtrykke, om indhold må bruges til AI-træning (Googles indlæg, Bings indlæg). Syntaksen er almindelig robots.txt med et særligt navn i stedet for en crawler:

User-Agent: __usage_ai-training
Disallow: /
Allow: /presse/

Grundlaget er draft-kelley-aipref-training-preference-signal-00. Udkastet tilføjer ingen nye direktiver; stier og præcedens følger RFC 9309 som altid. Træning defineres som at ændre de lærte parametre i en generativ model. Modeller, der kun bruges til klassifikation, rangering eller scoring, er undtaget. Og det er ikke et crawl-direktiv: en bot må stadig hente siden til søgning.

Forbeholdene er vigtigere end overskrifterne. Udkastet er et individuelt Internet-Draft skrevet af en ingeniør hos Anthropic, uden formel status i IETF. Nate Hake, der har deltaget i arbejdet, siger til Search Engine Roundtable, at teksten i praksis undtager alt, hvad en bruger selv sætter i gang, og at der stadig er væsentlige uenigheder. OpenAI vil implementere det "in the coming months" uden dato, og Anthropic er gået i gang. Ingen af de fire erstatter deres egne crawler-tokens med det.

Hos Google er træning og Gemini-citering én kontakt

Google skriver, at hvis et site bruger den fælles gruppe til at sige nej til træning og ikke selv nævner Google-Extended, læser Google det, som om Google-Extended var blokeret. Det lyder harmløst, indtil man læser Googles side om Google-Extended: tokenet dækker både træning af kommende Gemini-modeller og grounding, altså at indhold fra søgeindekset gives til modellen i det øjeblik, en bruger spørger. Samme blogindlæg siger, at sites, der specifikt tillader Google-Extended, er dem, der kan optræde i svar og få klik via grounding i Gemini-apps.

Lagt sammen betyder det: hos Google kan du ikke sige "træn ikke på mit indhold, men citér mig gerne". Det står ikke ordret i Googles indlæg, at et fælles nej fjerner dig fra Gemini-svar, men det følger af de to dokumenter, og PPC Land læser det på samme måde. Jeg ville behandle det som det sandsynlige, indtil Google siger andet.

AI-oversigter og AI Mode er en anden sag. Google-Extended påvirker ifølge Google ikke, om et site er med i Søgning, og de to flader styres i stedet af Search Console-kontrollen eller nosnippet. Kontrollen kan i øvrigt sættes pr. mappe, som jeg har skrevet om tidligere.

Bing skiller træning og citering ad

Microsoft har gjort det modsatte af Google. Træning styres med den fælles gruppe i robots.txt eller pr. side med <meta name="Bingbot" content="ai-training:disallow"> og tilsvarende X-Robots-Tag. Citering, som Bing kalder grounding, styres kun pr. side med ai-grounding:disallow. Der findes også disallowextended, som tillader Microsofts egne flader som Copilot, men udelukker tredjeparter, der henter grounding gennem Microsofts API'er. Bing-søgning påvirkes ikke af nogen af dem (dokumentationen).

Det, der rammer danske sites konkret, er overgangen fra de gamle signaler. Mange har brugt noarchive eller nocache for at holde indhold ude af Copilot. De signaler overføres ikke af sig selv:

Bruger du noarchive i dag og vil beholde begrænsningen, skal du både sætte ai-grounding-metaen på siderne og registrere den midlertidige præference i Bing Webmaster Tools inden 1. marts 2027. Uden registreringen står berørte sider som tilladt til grounding, indtil Bing har crawlet dem igen. For træning findes der ingen midlertidig indstilling: efter 1. marts skal nejet stå i robots.txt eller på siden.

Stjernen dækker ikke det nye token

Udkastet siger udtrykkeligt, at en gruppe med User-Agent: * ikke må læses som et svar på træningsspørgsmålet, og at en fil uden gruppen ikke udtrykker nogen præference. To ting følger af det. Har du blokeret enkelte AI-crawlere med navn, siger du intet til de udbydere, du ikke har nævnt. Og genereres din robots.txt af et CMS eller af egen kode, skal generatoren kunne skrive en gruppe med et navn, den ikke kender, uden at flette den ind i stjernegruppen eller sortere den væk. Det er sådan en detalje, der først bliver opdaget, når nogen spørger, hvorfor indstillingen ikke virker.

Rækkefølgen, jeg ville tage det i

1. Skriv den nuværende tilstand ned. Hvad står der i dag om Google-Extended, GPTBot, ClaudeBot og andre crawlere, og hvor bruges noarchive, nocache og nosnippet?
2. Beslut pr. mappe, ikke pr. site. Træning, citering i chatbots og AI-oversigter er tre forskellige spørgsmål. Hos Google er de to første ét valg.
3. Vælg bevidst hos Google. Et eksplicit Allow til Google-Extended holder dig med i Gemini-svar, men tillader også træning. Et fælles nej uden Google-Extended i filen gør begge dele til nej.
4. Ryd op i Bing-signalerne mellem 15. december 2026 og 1. marts 2027, hvis du bruger noarchive eller nocache.
5. Tilføj den fælles gruppe ved siden af de navngivne crawlere, ikke i stedet for. Alle fire siger, at deres egne tokens fortsat gælder.
6. Verificér i serverlogs og i Bings AI-rapport, ikke ud fra annonceringen. En præference virker først, når siden er crawlet igen.

Min vurdering er, at de fleste danske B2B-sites taber mere på at forsvinde fra AI-svar end på at blive brugt som træningsdata. Indhold, der skal sælge en ydelse, har brug for at blive citeret. Indhold, der selv er produktet, som betalte guides, data eller kursusmateriale, er der, hvor et nej giver mening.