Du slog AI-bots fra i Cloudflare. Fra 15. september tager knappen Googlebot med

Tre kategorier i stedet for én kontakt

Indtil i sommer havde Cloudflare én knap: bloker AI-bots, eller lad være. Den 1. juli 2026 blev den delt i tre kategorier, du styrer hver for sig. Cloudflares egen beskrivelse definerer dem sådan: Search er adfærd, der indsamler eller indekserer dit indhold, så der senere kan svares på spørgsmål om det. Agent er automatiseret adfærd, der handler i realtid på et menneskes vegne for at få noget gjort nu. Training er en crawler, der henter dit indhold for at træne eller finjustere en model.

Fra 15. september 2026 sætter Cloudflare nye standarder for de tre. På sider med annoncer bliver Training og Agent blokeret som udgangspunkt, mens Search forbliver tilladt. Isoleret set er det en fornuftig opdeling, og den er mere ærlig end den gamle enten-eller-knap. Den holder bare kun, hvis en crawler laver én ting ad gangen.

Reglen der fanger Googlebot

Googlebot laver ikke én ting. Den samme klient henter til søgeindeksering og til modeltræning, og det samme gælder Applebot og BingBot. Der findes ingen skillelinje at trække på netværksniveau, fordi der ikke er to hentninger at skelne imellem. Det er ét HTTP-kald fra ét user agent.

Cloudflare har valgt at vurdere sådan en crawler på alle dens formål og lade den strengeste regel vinde. Formuleringen i deres eget indlæg er ikke til at misforstå: crawlere med flere formål, blandt dem Googlebot, Applebot og BingBot, bliver blokeret hos kunder, der har valgt at blokere Training.

Det er ikke en fejl i modellen. Det er den ærlige konsekvens af, hvordan crawlerne faktisk er bygget. Men konsekvensen er, at en beslutning, du traf om AI-træning, nu også er en beslutning om din søgetrafik. Og de to beslutninger blev truffet på hver sin dag, af hver sin grund.

Det er allerede sket for nogen

Det her er ikke kun en fremtidig risiko. En bruger på r/SEO beskrev i august 2026, at Googlebot og BingBot begyndte at få 403 på sitemappet, efter at AI Training blev sat til Block i Cloudflare. Sagen blev samlet op af Search Engine Journal og gennemgået af Playwire den 5. august 2026. To detaljer gør den værd at læse: Cloudflares eget dashboard viste Googlebot og BingBot som blokeret, ikke som efterligninger, og 403-fejlene forsvandt igen i samme øjeblik, blokeringen blev slået fra. John Mueller bad om at få sagen direkte.

Hold fast i, hvad det er og ikke er. Det er én rapport fra ét site, og der er ikke offentliggjort en uafhængig gentagelse. Det er ikke bevis for, at alle med Training slået fra taber Googlebot i morgen. Men det er observeret adfærd på en indstilling, der allerede findes i dag, uger før standarden overhovedet ændrer sig. Det gør det til et tjek, ikke til en spådom.

Hvem det gælder, og hvem der tror de går fri

Cloudflare skriver selv, at mere end 20 procent af verdens webdomæner ligger bag deres netværk. Uanset om det rammer dig eller din nærmeste konkurrent, rammer det nogen, du kender.

De nye standarder gælder domæner, der onboardes til Cloudflare efter 15. september, nye sites tilføjet på eksisterende konti, og gratis-konti, der ikke har rørt deres sikkerhedsindstillinger inden datoen. Er du eksisterende kunde, kan du fravælge ændringen i zonens sikkerhedsindstillinger, og så bliver alt, som det var.

Men den gruppe, der reelt skal spidse ører, er en anden: alle jer, der på et tidspunkt slog "bloker AI-bots" til, fordi det lød som en god idé dengang. Den beslutning betød ét i en verden med én kontakt. Den betyder noget andet i en verden med tre kategorier og en regel om, at den strengeste vinder. Ingen sender dig en mail om, at din gamle indstilling har fået en ny betydning.

Sådan tjekker du det, inden datoen

Rækkefølgen betyder noget. Læs først, hvad der faktisk er sat, og konkludér bagefter.

1. Åbn zonens sikkerhedsindstillinger og find sektionen for AI-crawlere. Se, om Search, Agent og Training står som tilladt eller blokeret, og om Googlebot og BingBot er opført som blokeret. Det, du husker at have sat, og det, der står der, er ikke altid det samme.
2. Kør en URL-inspektion i Search Console. Vælg en almindelig side og bed om en live-test. Kan Googlebot ikke hente den, og får du en 403, har du dit svar uden yderligere diskussion. Test også sitemappets URL, for det var der, fejlen viste sig i den rapporterede sag.
3. Kig i adgangsloggen efter 403 til Googlebot. Filtrér på user agent, tæl svarkoder pr. dag hen over de sidste to måneder, og verificér et udsnit af IP'erne med reverse DNS begge veje. En blokering, der kun rammer nogle kald, ser ud som ingenting i en trafikgraf.
4. Træf beslutningen bevidst inden 15. september. Vil du have Google til at crawle uændret, uanset hvad du har sat op omkring Training, kan du markere det i sikkerhedsindstillingerne. Det tager et minut. Alternativet er at arve en standard, du ikke har valgt.
5. Skriv datoen ned, hvor du gemmer den slags. Ændrer du en crawler-indstilling nu, vil du om to måneder gerne kunne skille den fra en algoritmeopdatering. Uden en note kan du ikke, og et crawl-fald og et rankingfald ligner hinanden fuldstændigt i en graf.

Det tager en formiddag. Jeg har skrevet mere om, hvorfor IP-lister er det forkerte kontrolpunkt for crawlere, og om hvilke af linjerne i din robots.txt der rent faktisk bliver læst.

Fravalget, der ikke beskytter dig

Her bliver det ærgerligt. Den nærliggende reaktion er at flytte fravalget fra firewallen til robots.txt og sætte Google-Extended til Disallow. Det er det rigtige sted at gøre det, men det gør mindre, end de fleste tror.

Googles egen dokumentation siger, at Google-Extended styrer, om indholdet må bruges til at træne kommende Gemini-modeller og til grounding i Gemini-apps og Grounding with Google Search på Vertex AI. Og så siger den dette: Google-Extended påvirker ikke et sites optagelse i Google Søgning og bruges ikke som rangeringssignal. Det er godt nyt for din trafik. Det er samtidig grunden til, at fravalget ikke rækker så langt som håbet, for AI Overviews henter deres svar fra det almindelige søgeindeks, ikke fra træningsdataen. Er du i indekset, kan du optræde i svaret.

Hvor meget det fylder, skal man være forsigtig med at påstå præcist. Similarweb har målt AI Overviews i 43 procent af søgningerne, men det er 43 procent af amerikanske søgninger i maj 2026, op fra omkring 15 procent i januar 2025. Metoden er tyndt offentliggjort: antallet af forespørgsler, fordelingen mellem desktop og mobil og selve detektionsreglen er ikke oplyst. Andre målinger lander markant lavere, blandt andet Adthena på 18 procent i juni 2026. Retningen er der ingen tvivl om. Tallet skal du ikke citere som et faktum, og slet ikke som et dansk tal.

Nettoresultatet står tilbage uanset hvilket tal man vælger: du kan ende med at blokere den søgetrafik, du lever af, og alligevel ikke få den beskyttelse mod AI, du troede du købte.