Steeds meer blogs en contentplatforms krijgen te maken met AI-crawlers en modellen die content indexeren en hergebruiken. llms.txt is de nieuwe, eenvoudige manier om aan te geven wat wél en níet gebruikt mag worden door taalmodellen.
In deze gids leggen we kort uit wat je als contentbeheerder praktisch kunt doen met een llms.txt bestand, welke regels vaak voorkomen en hoe je het snel op je site zet. Inclusief voorbeelden die je direct kunt kopiëren.
Belangrijk onderdeel 1
Wat je in llms.txt zet bepaalt hoe AI-systemen je content mogen gebruiken. Het bestand staat in de root van je domein (voorbeeld: https://jouwdomein.nl/llms.txt) en is voor mensen en machines makkelijk leesbaar. Gebruik duidelijke sleutel-waarde regels zodat crawlers snel kunnen interpreteren wat de regels zijn.
Veelgebruikte velden zijn contactinformatie, licentie, toegestane gebruiksdoelen en paden die je wilt uitsluiten. Je stelt hiermee zowel juridische als technische grenzen zonder complexe code of configuratie.
Praktische tip of verdieping
- Begin met een korte header: “llms.txt v1” of een datum, zodat je wijzigingen traceert.
- Voeg Contact: je e-mailadres of URL toe voor vragen van onderzoekers of bedrijven.
- Gebruik License: CC-BY-4.0 of een eigen formulier, zodat duidelijk is wat hergebruik mag.
- Disallow: /private of andere paden die je niet wilt laten indexeren.
Belangrijk onderdeel 2
Voor blogs en contentplatforms is het praktisch om onderscheid te maken tussen openbaar toegankelijke artikelen en privé- of betaalde content. Een llms.txt kan dat onderscheid expliciet maken door paden of tags te benoemen. Daardoor beperk je ongewenste datasetvorming door AI-aanbieders en bescherm je je bedrijfsmodel.
Daarnaast kun je ook aanwijzingen geven over metadata en sitemaps, zodat crawlers efficiënter en correcter indexeren. Denk aan een verwijzing naar je sitemap of regels over hoe frequent content mag worden gecrawld.
Praktische tip of verdieping
- Audit: bepaal welke URL-patronen openbaar, betaald of privé zijn.
- Schets regels: maak korte, leesbare regels per categorie (bijv. “Disallow: /paywall”).
- Test: zet het bestand tijdelijk live en controleer in logs of crawlers de regels respecteren.
- Update: houd versiebeheer bij en pas licentie/regels aan bij beleidswijzigingen.
Voorbeeld van een eenvoudig llms.txt dat je als start kunt gebruiken:
llms.txt v1
Contact: privacy@jouwdomein.nl
License: CC-BY-NC-4.0
AllowedUse: Research, Indexing
Disallow: /private
Disallow: /paywall
Sitemap: https://jouwdomein.nl/sitemap.xmlLaatste check die je direct kunt doen: publiceer een llms.txt in de root van een testdomein en controleer na een week je serverlogs op aanvragen naar /llms.txt en naar de uitgesloten paden; pas zo nodig regels aan voor betere dekking en duidelijkheid.