Kort fortalt
Apple skrev den 31. juli 2026 Applebots offentlige adresseliste om: fra 12 til 33 CIDR-blokke, fra cirka 2.400 til 7.056 IP-adresser — 4.656 nye adresser, en vækst på 194 %, alle inden for 17.166.0.0/16. Der kom ingen meddelelse, og ændringen blev først opdaget 17. august. Fra 15. september 2026 inddeler Cloudflare crawlere i Search, Agent og Training, og en crawler med flere formål behandles efter sin strengeste kategori — Googlebot, Applebot og BingBot er nævnt ved navn, så en blokering af Training tager søgecrawlet med. Den eneste granulære skillelinje ligger i robots.txt, hvor Applebot-Extended alene styrer træning af Apples modeller. Forbehold: Apple har intet annonceret, 4.656 er adresser i en fil og ikke målt crawl-volumen, og Cloudflares nye standard gælder nye domæner med annoncer, mens eksisterende kunder selv sætter reglerne.
Den knap, der reelt styrer Apples crawler, sidder i din robots.txt — ikke i din firewall og ikke i en IP-liste. Apple flyttede Applebots adresseplads 194 % den 31. juli, og fra 15. september slår Cloudflare crawlere sammen efter strengeste kategori. Begge dele rammer de sites, der har forsøgt at styre AI-crawlere på netværksniveau.
Hvad der skete i Apples adresseliste
Apple offentliggør de IP-blokke, Applebot henter fra, i én fil på search.developer.apple.com/applebot.json. Den fil lå praktisk talt stille i årevis. Den 31. juli 2026 blev den skrevet om: fra 12 CIDR-præfikser til 33, fra omkring 2.400 adresser til 7.056. Det er 4.656 nye adresser og 194 % vækst, fordelt på 18 stykker /24 og 3 stykker /28 — alle inden for 17.166.0.0/16.
Der fulgte ingen blogpost, ingen release note, ingen kommentar. Ændringen blev først bemærket den 17. august, da Ryan Siddle sammenlignede filen med en ældre kopi og delte forskellen. PPC Land og Search Engine Roundtable har begge tallene.
Hvad det ikke er: bevis for en lancering. Apple har ikke sagt noget, og 4.656 er antal adresser i en tekstfil, ikke målt trafik. En crawler kan udmærket have plads til tre gange så meget uden nogensinde at bruge den. Men ingen udvider sin adresseplads med 194 % ved et uheld, og Apple opdaterede tidligere på året sin Applebot-dokumentation med Apple Intelligence. Retningen er tydelig nok til at handle på — bare ikke tydelig nok til at citere som et løfte.
Cloudflare har tre kasser, og Applebot hører til i to af dem
Cloudflare inddeler crawlere i tre formål: Search, som indekserer indhold for at kunne svare på spørgsmål om det senere, Agent, som handler i realtid på et menneskes vegne, og Training, som henter indhold til at træne eller finjustere en model. Fra 15. september 2026 er standarden for nye domæner med annoncer, at Training og Agent er blokeret, mens Search er tilladt.
Detaljen, der afgør sagen, står længere nede i Cloudflares egen udmelding: en crawler med flere formål bliver behandlet efter sin strengeste kategori. Cloudflare nævner Googlebot, Applebot og BingBot ved navn. Blokerer du Training, blokerer du dem — også selvom Search står som tilladt i samme panel.
Det er ikke en fejl i modellen. Det er en ærlig konsekvens af, hvordan crawlerne faktisk er bygget: hos Apple, Google og Microsoft er søgehentning og modeltræning det samme HTTP-kald fra den samme klient. Der findes ingen teknisk skillelinje at trække på netværksniveau, fordi der ikke er to hentninger at skelne imellem.
Skillelinjen findes kun ét sted
Apples egen dokumentation deler crawleren i to user agents. Applebot henter til søgning — det, der ligger bag Spotlight, Siri og Safari, og som Apple nu også fører videre til Apple Intelligence, Services og Developer Tools. Applebot-Extended styrer alene, om det hentede må bruges til at træne Apples generelle foundation-modeller. Du kan afvise Applebot-Extended i robots.txt og beholde søgecrawlet.
Det er hele pointen, og den er ubehagelig: fravalget er noget, crawler-operatøren vælger at give dig. Det bor i en tekstfil, som operatøren selv har defineret betydningen af, og det virker kun i det omfang operatøren respekterer det. Til gengæld er det det eneste sted, hvor forskellen mellem "indekser mig" og "træn ikke på mig" overhovedet er formuleret.
En regel i Cloudflare kan ikke se den forskel for en crawler med flere formål. Den ser ét user agent og træffer én beslutning. Vælger du hammeren, kan du ikke bagefter være overrasket over, at den også ramte Siri.
Derfor er IP-lister det forkerte kontrolpunkt
Apple dokumenterer reverse DNS i *.applebot.apple.com som måden at identificere crawleren på. Google beskriver begge veje: reverse DNS til enkeltopslag, JSON-lister til opslag i stor skala. Ingen af dem stiller nogen garanti for, at listen står stille.
Apples liste stod stille — indtil den ikke gjorde. Enhver allowlist bygget på de 12 gamle præfikser lukkede fra 31. juli 4.656 adresser ude, uden at nogen fik en fejlmeddelelse. Det er den værste slags fejl. Den er tavs, den rammer et system, du ikke selv logger, og den bliver først opdaget, når nogen leder efter et symptom et helt andet sted.
Timingen gør det ikke lettere. Googles spamopdatering for august blev annonceret den 18. august og var meldt færdigudrullet fredag den 21., jf. Googles egen oversigt over ranking-opdateringer. Ser du et fald i den uge, har du mindst to plausible årsager og ingen naturlig måde at adskille dem på bagefter — medmindre du har logget crawleren separat.
Rækkefølgen jeg selv kører
Det her er struktur, ikke en færdig opskrift. Fem trin, i den rækkefølge, fordi hvert trin ændrer, hvad næste trin betyder.
- Find crawleren i adgangsloggen. Filtrér på
Applebot/i user agent-strengen og tæl hits pr. dag hen over juli og august. Du leder efter et niveauskift omkring månedsskiftet, ikke efter et præcist tal. - Verificér et udsnit. Slå IP'en op i reverse DNS, tjek at værtsnavnet ender på
applebot.apple.com, og slå så værtsnavnet frem igen til den samme IP. Kun par, hvor begge opslag stemmer, tæller. Resten er nogen, der har skrevet Apples user agent i deres egen klient. - Læs din robots.txt for, hvad den faktisk siger. En Disallow for Applebot fjerner dig fra Siri og Spotlight. Vil du kun ud af modeltræningen, er navnet Applebot-Extended, og de to linjer er ikke udskiftelige.
- Åbn CDN'ets bot-indstillinger og se, hvad du reelt har sat. Hvis Training er slået fra, er søgecrawlet fra Apple, Google og Microsoft også slået fra pr. 15. september. Beslut det bevidst i stedet for at arve det.
- Adskil årsagerne, før du konkluderer. Faldt noget i uge 34, ligger Googles spamopdatering i samme vindue. Et crawler-fald og et rankingfald ser ens ud i en trafikgraf og har intet med hinanden at gøre.
Det tager en formiddag. Alternativet er at opdage i november, at Siri holdt op med at nævne dig i august, og at ingen kan sige hvorfor.
Hvem der egentlig bestemmer
Der er ved at opstå en arbejdsdeling, ingen har besluttet. Crawler-operatøren definerer, hvilke valg der findes. CDN'et afgør, hvilke af dem der bliver til handling. Og sitejeren skriver under på begge dele uden at have læst nogen af dem — som regel via en standardindstilling, der blev sat, mens han lavede noget andet.
Det eneste sted, du har et reelt valg, er der hvor operatøren har givet dig et navn at adressere. Applebot-Extended er sådan et navn. En kategori i et kontrolpanel er ikke — det er en kontakt, der er tændt eller slukket, og som beslutter mere end den siger. Jeg foretrækker et fravalg, jeg kan formulere præcist, frem for et jeg kan slå til med ét klik.