Metas nye vilkår flytter crawl-tilladelsen ind i kontrakten. To af fem agenter kan ignorere robots.txt

Hvad det nye afsnit giver lov til

Paragraf 1 i de nye vilkår har fået titlen «Licences and rights you provide Meta». Ifølge Nieman Labs gennemgang af 15. oktober 2026 giver et nyt afsnit Meta ret til at bruge «automated software» til at tilgå og crawle de domæner, sider og URL'er, der er knyttet til virksomhedens produkter og ydelser, og til at «periodically pull updates» fra dem. Træning står blandt de formål, indholdet må bruges til.

Der er ingen fravalgsmulighed i afsnittet. Teksten skriver i stedet, at man skal «stop all access or use of our Products for business or commercial purposes», hvis man ikke er enig — altså lukke sin Meta-forretningskonto. Accepten er passiv: fortsat brug efter varsel tæller som samtykke.

Metas Andy Stone har afvist historierne om nyhedsscraping som «false» og siger, at opdateringen handler om produktinformation på tredjepartssider. Den begrænsning står ikke i kontraktteksten. Og juristerne i Nieman Labs gennemgang er ikke enige om rækkevidden: Matt Topic kalder det uklart, om en domstol vil håndhæve bestemmelsen, men siger samtidig, at udgivere bør gå ud fra, at den kan. Det forbehold er den vigtigste sætning i hele historien. Det er ikke en afgjort sag — det er en aftale, der træder i kraft om tolv dage.

De fem agenter Meta selv dokumenterer

Den praktiske del ligger et andet sted end i kontrakten. Metas crawler-dokumentation navngiver fem user agents med hver sin funktion, og den siger for to af dem direkte, at robots.txt kan blive sprunget over.

Forskellen mellem de to grupper er ikke en gråzone, og den er ikke mit gæt. Meta skriver selv, at meta-externalfetcher kan springe robots.txt over, fordi dens hentninger sker på en brugers anmodning, og at facebookexternalhit kan omgå filen ved sikkerheds- og integritetstjek, for eksempel malware-scanning. De tre øvrige blokeres ved navn, med en almindelig Disallow-regel.

En samlet blokering koster citationer, ikke kun træning

At Meta deler funktionerne op på fem navne er faktisk en fordel, hvis man bruger det. Dokumentationen siger om meta-webindexer, at det hjælper Meta med at citere og linke til dit indhold, når man tillader den. Det er en anden beslutning end træning — og den rammer du også, hvis du skriver én regel, der fanger alt med meta- i navnet. Samme blanke blokering tager facebookexternalhit med, og så er det dine egne link-previews på Facebook og Instagram, der går i stykker. Det opdager man typisk først, når marketing spørger, hvorfor delte links er blevet grå kasser.

Google har bygget det omvendt. Google-Extended er ét robots.txt-token uden sin egen user agent: dokumentationen siger, at det styrer, om indhold må bruges til at træne kommende Gemini-modeller, og om det må bruges til grounding i Gemini Apps og Vertex AI — og at det «does not impact a site's inclusion in Google Search nor is it used as a ranking signal». Det, tokenet ikke dækker, er Søgningens egne AI-flader. Hos Google kan du altså fravælge Gemini uden at røre rangeringen, men du kan ikke skille Søgningen fra de AI-visninger, den selv laver. Hos Meta kan du skille træning fra citation. Det er to forskellige valg, og de kræver to forskellige beslutninger — ikke én regel kopieret fra et blogindlæg.

Og mens vi er ved Google: selskabet opdaterede sin vejledning om generativt AI-indhold 1. oktober 2026 og Indexing API-kvotesiden 16. oktober. Jeg har skrevet om hvad der reelt kan håndhæves i den vejledning. Fællestrækket med Metas vilkår er, at det dokumenterbare krav og den offentlige fortælling sjældent står på samme side.

Rækkefølgen jeg selv kører den i

1. Læs logfilerne, før du skriver reglerne. Træk de seneste 30 dage pr. user-agent-streng. Du kan ikke beslutte, hvad en blokering koster, før du ved, hvilke af de fem der faktisk rammer dit site, og hvor ofte.
2. Beslut pr. agent, ikke pr. leverandør. Træning, AI-citation, annonceprodukter og link-previews er fire forskellige spørgsmål. Skriv svaret ned pr. navn.
3. Skriv reglerne på de navne, du har besluttet. En blok pr. agent. Ingen wildcards på leverandørnavnet — det er præcis den genvej, der tager previews og citationer med.
4. Læg de to, der kan omgå filen, et andet sted. De hører til på edge- eller WAF-niveau, hvor man filtrerer på user-agent og IP. Det er en anden type beslutning, og facebookexternalhit skal som regel igennem alligevel.
5. Notér datoen for ændringen. Kontrakten er det andet lag. Hvis spørgsmålet om samtykke bliver stillet senere, er det den dato, du kan dokumentere.

Punkt fire er det, de fleste springer over, og det er også det, der er ærligt at sige højt: for to af de fem agenter er robots.txt ikke et værktøj. Den er en henvendelse.

Hvad jeg ikke kan dokumentere

Jeg har ikke kunnet læse vilkårsteksten direkte. Forhåndsvisningen på facebook.com er lukket for crawlere, så citaterne ovenfor står på Nieman Labs gengivelse, ikke på min egen læsning af kilden. Metas dokumentation siger heller ikke, om det nye afsnit i paragraf 1 handler om de fem navngivne agenter eller om andet software. Og juristerne peger selv på, at vilkårene kan bruges som argument for, at kontrakten vægter højere end en Disallow-regel — ikke at de gør det.

Det efterlader én ting, der kan måles i stedet for diskuteres: hvad der faktisk rammer dine logfiler efter 30. oktober. Det er den eneste af parterne i den her historie, der ikke udtaler sig.