Veel e-commercebedrijven weten dat robots.txt belangrijk is voor zoekmachines, maar vergeten dat AI-crawlers en datasetbouwers ook rules nodig hebben. llms.txt is dé manier om die crawlers te sturen en te beschermen wat je niet wilt delen — zoals klantdata, prijzen in ontwikkeling of exclusieve afbeeldingen.
In dit artikel leggen we stap voor stap uit hoe je llms.txt inzet voor je webwinkel. Praktisch, zonder vakjargon, met voorbeelden die je direct kunt toepassen op jouw site.
Belangrijk onderdeel 1
Wat llms.txt doet: het is een standaardbestand op de root van je domein waarmee makers van taalmodellen en andere AI-data-consumenten eenvoudig kunnen zien wat wel en niet gebruikt mag worden. Het heeft geen wettelijke kracht, maar veel verantwoordelijke datasetbouwers volgen het wél.
Voor e-commerce is dat cruciaal: je wilt voorkomen dat gevoelige content (checkout, klantprofielen, kortingscodes) onbedoeld in trainingsdata terechtkomt. Tegelijk wil je productpagina’s en publieke beschrijvingen vaak juist beschikbaar houden voor zichtbaarheid.
Praktische tip of verdieping
- Zorg dat je basisvelden op orde zijn: Contact, Expires, Policy en User-agent. Bijvoorbeeld:
Contact: privacy@jouwdomein.nlenExpires: 2025-12-31. - Bescherm gevoelige paden: disallow /checkout, /cart, /account, /api/private.
- Wees expliciet over media: als afbeeldingen niet getraind mogen worden, vermeld dat duidelijk per pad of bestandstype.
- Versiebeheer: voeg een versie-commentaar of datum toe zodat datasetbouwers weten welke regels nieuw zijn.
Belangrijk onderdeel 2
Implementatie is simpel maar vereist discipline: het bestand moet op https://jouwdomein.nl/llms.txt staan en toegankelijk zijn voor crawlers. Host het op dezelfde root als je site; subdomeinen vragen een eigen llms.txt.
Combineer llms.txt met andere maatregelen: robots.txt, X-Robots-Tag headers en API-authenticatie. llms.txt regelt intenties richting datasetbouwers; technische blokkades blijven belangrijk voor echte bescherming.
Praktische tip of verdieping
- Inventariseer eerst welke paden publiek mogen zijn en welke absoluut niet (checkout, gebruikersdata, interne rapporten).
- Schrijf een llms.txt met duidelijke regels, contact en een expire-datum. Voorbeeldregels:
- User-agent: *
- Disallow: /checkout/
- Disallow: /account/
- Allow: /product/
- Publiceer het bestand op de root en test: open https://jouwdomein.nl/llms.txt en controleer leesbaarheid.
- Communiceer de policy intern en voeg llms.txt toe aan je release-checklist bij product- of paginawijzigingen.
Praktische check die je nu direct kunt doen: open https://jouwdomein.nl/llms.txt, controleer of er een contact-e-mail en een expire-datum staat, en of gevoelige paden (zoals /checkout en /account) expliciet in Disallow voorkomen — pas het bestand aan en commit naar je live root als dat nog niet zo is.