Kort fortalt
Cloudflare Radar har siden 1. juli 2025 offentliggjort crawl-to-refer-forhold pr. AI-platform. I ugen 19.-26. juni 2025 lå spændet fra Anthropic på 70.900:1 til Mistral på 0,1:1 — sidstnævnte sendte altså ti gange flere henvisninger, end den hentede sider. Google faldt 19,4 procent uge over uge, DuckDuckGo og Yandex steg over 6 procent. Cloudflare skriver selv i samme analyse, at trafik henvist fra Claudes app ikke bærer en Referer-header, og at de rapporterede forhold derfor kan være for høje — uden at de kan sige hvor meget. Det forbehold ryger som regel ud, når tallet citeres.
Kort svar: crawl-to-refer-forholdet kan ikke bære en beslutning om at blokere AI-crawlere, fordi nævneren systematisk undertæller. Tælleren — antal crawls — måles præcist i en edge-log. Nævneren — antal henvisninger — måles på Referer-headeren, og henvisninger fra chat-apps sender ingen. Forholdet er derfor ikke "crawls pr. henvisning", men "crawls pr. henvisning vi kunne se". Til at beskrive et magtforhold på nettet duer tallet fint. Til at træffe en beslutning på dit eget site gør det ikke.
Hvad tallet er, og hvor det kommer fra
Crawl-to-refer er et simpelt forhold: hvor mange gange en AI-virksomheds crawler henter sider fra nettet, delt med hvor mange besøgende den samme virksomhed sender tilbage. Cloudflare begyndte at offentliggøre det pr. platform på Radar-sidens AI Insights den 1. juli 2025, og det er derfra stort set alle tal i debatten stammer — også dem der bliver citeret uden kilde.
Spredningen er det interessante, ikke gennemsnittet. I ugen 19.-26. juni 2025 lå Anthropic på 70.900 crawls pr. henvisning. Mistral lå på 0,1:1, altså ti henvisninger for hver hentet side. Det er ikke to punkter på samme skala med lidt forskel — det er seks størrelsesordener. Samme uge faldt Googles forhold 19,4 procent, hvilket Cloudflare tilskriver et observeret fald i Googlebot-trafik fra 24. juni, mens DuckDuckGo og Yandex steg over 6 procent.
Nævneren er ødelagt, og det står i Cloudflares egen fodnote
Her er den del, der næsten aldrig følger med, når tallet bliver citeret. Cloudflare skriver i samme analyse, at trafik henvist fra Claudes egen app ikke sender en Referer-header, og at de rapporterede forhold derfor kan overvurdere det faktiske — uden at de kan sige hvor meget.
Tænk på, hvad det betyder for regnestykket. Tælleren er en edge-måling: hver eneste HTTP-forespørgsel fra en identificerbar bot bliver talt, præcist. Nævneren er en frivillig oplysning fra browseren, som netop den kategori af trafik, der er vokset mest — folk der klikker på en kilde inde i en chat-app frem for i et browservindue — ofte ikke leverer. De to sider af brøken måles altså med vidt forskellig sikkerhed, og fejlen går kun én vej.
Hvorfor det ikke i sig selv er et argument for at blokere
Min holdning, og den er til at være uenig i: for et dansk B2B-site i mellemsegmentet er crawl-to-refer det forkerte tal at træffe beslutningen på — uanset hvor stort det er.
Der er to grunde. Den første er den, vi lige har set: du kender ikke nævneren. Den anden er, at tælleren skal omregnes til noget, der betyder noget hos dig, før den kan sammenlignes med noget som helst. 70.900 forespørgsler er en katastrofe for et nyhedssite med millioner af URL'er og båndbredde efter forbrug. På et statisk site med 200 sider bag et CDN er det en post, der forsvinder i afrundingen. Forholdstallet er identisk i de to tilfælde. Konsekvensen er det ikke.
Der findes rapporterede forløb, hvor en enkelt operatørs forhold faldt fra omkring 287.000 crawls pr. henvisning i januar 2025 til cirka 38.000 i juli samme år, mens en anden lå stabilt omkring 1.100 hen over samme periode. Operatørerne er ikke navngivet offentligt, så tallene kan ikke bruges til at pege på nogen. Men bevægelsen er pointen: forholdet svinger med to størrelsesordener på et halvt år, drevet af crawl-adfærd du ikke styrer. Et tal, der kan tidoble sig, fordi nogen ændrer deres hentefrekvens, er ikke et godt grundlag for en permanent beslutning om din synlighed.
Og prisen ved at tage fejl er asymmetrisk. Blokerer du, og det viste sig at være billigt at lade dem hente, har du afskåret dig fra at blive citeret i den overflade, hvor en voksende del af de indledende søgninger sker. Lader du dem hente, og det viste sig at være dyrt, har du betalt et beløb, du kan se på fakturaen og lukke ned næste måned.
De to tal du selv kan måle i stedet
Strukturen er vigtigere end værktøjet, så her er rækkefølgen frem for en opskrift.
Kolonne ét: hvad crawlen faktisk koster dig. Træk dine serverlogs eller CDN-analytics for en måned, gruppér forespørgslerne på user agent, og oversæt til det, du bliver faktureret for — GB udgående trafik, forespørgsler over din gratiskvote, CPU-sekunder hvis du renderer dynamisk. Ikke antal hits. Kroner. De fleste danske B2B-sites lander på et beløb, der er mindre end frokosten, og så er hele diskussionen afgjort på fem minutter.
Kolonne to: om det giver noget igen. Henvisningstrafik kan du ikke stole på, netop på grund af den manglende header. Brug i stedet Search Console og se på dine mærkevareforespørgsler — dit firmanavn, dit navn, dine produktnavne — over 12 måneder. Det er det bedste tilgængelige signal for, at nogen har mødt dig et sted uden at klikke. Læg direkte trafik til nye landingssider ved siden af. Ingen af delene er præcise. Sammen viser de en retning.
Sæt de to kolonner op mod hinanden hvert kvartal. Beslutningen om at blokere en bestemt bot bliver først reel den dag, kolonne ét vokser hurtigere end kolonne to — og det er en beslutning pr. bot, ikke pr. princip. Robots.txt understøtter det fint; det er den samme mekanik som beskrevet i gennemgangen af robots.txt, bare med andre user agents.
En sidste ting, som er værd at have med, når man læser tallene: den bot, der henter mest, er ikke nødvendigvis den, der citerer mest. Hentefrekvens er et produktvalg hos den enkelte udbyder — nogle henter en side igen for hvert svar, andre bygger et indeks og genbruger det. Det siger noget om deres arkitektur. Det siger ikke ret meget om, hvor ofte du bliver nævnt.
Mål byttehandlen, ikke forargelsen
Crawl-to-refer er blevet det tal, alle citerer, fordi det er stort og let at forstå. Men det er sammensat af en tæller, der måles i en log, og en nævner, der måles på en header, som den vigtigste kategori af henvisninger ikke sender. Det er ikke en detalje — det er hele grundlaget for konklusionen.
Så mål hellere det, du selv kan se: hvad crawlen koster dig i kroner, og om dit navn bliver søgt oftere. Er kolonne ét lille nok til at forsvinde i støjen, og kolonne to i bevægelse, har du et svar. Og du fik det uden at gøre dig usynlig i den overflade, hvor de næste par års indledende søgninger kommer til at foregå.