OpenAI fandt hundreder af millioner sider gennem Cloudflare. Robots.txt bestemmer ikke, om din URL bliver kendt

Hvad Cloudflare og OpenAI faktisk har oplyst

Cloudflare annoncerede pilotprojektet 8. juli 2026. Den 15. oktober kom de første resultater i et indlæg på Cloudflares blog, skrevet sammen med to folk fra OpenAI. Det, der står sort på hvidt, er kort:

• Signalerne kom fra en deltagende gruppe på cirka 1 % af Cloudflares samlede netværk.
• OpenAIs søgecrawler opdagede og indekserede "hundreds of millions" nye sider. Det er det eneste tal i indlægget.
• Signalerne beskrives som friskhed, trafikkvalitet og faktiske ændringer på siden. Derudover bruges de til at springe døde URL'er, redirects til forsiden og dubletter over.
• OpenAI vurderer og rangerer siderne selv. At en side bliver opdaget, betyder ikke, at den bliver citeret.
• Cloudflare skriver, at forskningen bruger metadata til søgning og opdagelse, ikke sideindhold til modeltræning.

Eksemplerne i indlægget er en vaskemaskines brugsanvisning, gældende pasregler og en restaurants menukort. Det er sider, som er nyttige, selvom næsten ingen linker til dem. Det er netop den slags sider, en klassisk crawler har svært ved at finde.

Opdagelse og adgang er to forskellige porte

Den vigtigste sætning i Cloudflares indlæg er en bisætning: et signal om en side giver ikke tilladelse til at hente den. Det er rigtigt, og det er beroligende for adgangen. Men det siger også, hvor grænsen går. Dine indstillinger bestemmer, om crawleren må hente siden. De bestemmer ikke, om OpenAI kender adressen.

Se så på, hvad OpenAIs egen crawler-dokumentation lover. Blokerer du OAI-SearchBot i robots.txt, bliver dit site ikke vist i ChatGPTs søgesvar, men det kan stadig optræde som navigationslink. Det tager omkring 24 timer, før en ændring i robots.txt slår igennem. Noindex står der ikke et ord om. Den eneste dokumenterede kontrol er altså robots.txt pr. user-agent, og selv den har et forbehold for links.

Det minder om noget, Google har sagt i årevis: robots.txt er ikke en måde at holde en side ude af Google på. En blokeret URL kan stadig blive indekseret uden indhold, hvis Google kender den andetsteds fra. Forskellen er, at Google typisk lærer URL'en at kende gennem links. I piloten kan OpenAI lære den at kende gennem trafikken på netværket, også selvom ingen linker til den.

Hvad ingen af meddelelserne siger

Det er de huller, der er mest værd at kende, før du ændrer noget:

• Hvem der var med. Der står "a participating cohort", men ikke hvordan sites blev valgt, eller om ejerne sagde ja. Search Engine Journal peger også på, at det ikke fremgår, om de nye sider ligger på deltagernes egne sites.
• Hvordan signalerne opstår. Pressemeddelelsen fra juli taler om netværksindsigter i realtid. Om det er forespørgselslogs, cache-data eller noget tredje, står der ikke.
• Effekten. Der er intet tal for, hvor tit de nye sider blev citeret, hvor meget trafik de sendte, eller hvor meget crawlingen faldt. Cloudflare skriver selv, at opdagelse af nye sider i første omgang kan øge crawlingen.
• Fravalg. Indlægget beskriver ingen opt-out for selve signalerne. Det henviser til AI Crawl Control, som ifølge SEJ findes på alle planer. Men den styrer adgang, ikke signaler.
• Tidsplanen. Ifølge SEJ skrev Cloudflare i juli, at bred adgang kommer i løbet af resten af 2026. Oktober-indlægget giver ingen dato.

Mit eget site er ikke med, og det er også en pointe

Jeg tjekkede lennartoester.dk 26. oktober 2026. Svaret kommer direkte fra en nginx-server, uden de headere en Cloudflare-proxy sætter. Sitet står ikke bag Cloudflare, så den nye vej findes ikke for det. For mig er vejen ind i et indeks stadig den klassiske: sitemap, interne links og llms.txt. Hos Google virker den fint. Da jeg målte fire artikler til min gennemgang af Indexing API'et, blev de crawlet efter mellem 3 timer 42 minutter og 6 timer 35 minutter.

Bliver piloten rullet bredt ud, opstår der en asymmetri. Sites bag Cloudflare får en ekstra vej ind i ChatGPTs indeks, som alle andre ikke har. Det er ikke målt endnu, og ingen har lovet noget om rangering. Men for en virksomhed, der vælger hosting og CDN i dag, er det et punkt mere på listen, ved siden af pris og ydelse.

Rækkefølgen, jeg ville gå igennem

Det her kræver ikke et nyt værktøj. Det kræver, at du holder to lister op mod hinanden:

1. Find de sider, der får trafik uden at være linket. Træk de URL'er, der får besøg, fra serverlogs eller analytics. Sammenlign dem med sitemap og interne links. Forskellen er typisk takkesider, kampagnesider, gamle landingssider, PDF'er, staging-URL'er og URL'er med parametre.
2. Sortér dem i to bunker. Det, der gerne må findes, får et link og en plads i sitemappet. Så er det ikke op til et signal, om det bliver opdaget. Det, der ikke må findes, skal bag login eller fjernes. Et manglende link er ikke en beskyttelse.
3. Tag stilling til OAI-SearchBot og GPTBot hver for sig. OpenAI skiller søgning og træning ad i robots.txt. Husk de cirka 24 timer, og at et blokeret site stadig kan dukke op som navigationslink.
4. Ligger du bag Cloudflare, så åbn AI Crawl Control. Se, hvilke AI-tjenester der faktisk henter dine sider, før du beslutter noget ud fra en mavefornemmelse.
5. Hold øje med OAI-SearchBot i loggen. Hvis crawleren pludselig rammer URL'er, der ikke står i sitemappet, er det et tegn på en anden opdagelsesvej. Tjek forespørgslerne mod OpenAIs offentlige IP-liste (searchbot.json), så du ikke tæller forfalskede user-agents med.