Het llms.txt bestand bepaalt welke delen van je website bedoeld zijn voor of juist uitgesloten worden van training door grote taalmodellen. Veel sites weten niet waar ze het bestand moeten neerzetten, wat leidt tot onvindbare regels of verkeerde implementaties.
Bij llmstxt.nl specialiseren we ons in precies deze vraag: waar moet het llms.txt bestand staan zodat crawlers en modellen het ook echt vinden? In dit artikel leggen we helder uit waar je het bestand plaatst, met concrete voorbeelden en checks die je meteen kunt doen.
Belangrijk onderdeel 1
Het llms.txt bestand hoort in de root van je domein te staan. Dat betekent dat het bereikbaar moet zijn op https://jouwdomein.nl/llms.txt en niet in een submap zoals /public/ of /assets/.
De reden is simpel: crawlers en modellen zoeken op de standaardlocatie in de root. Als het bestand ergens anders staat, wordt het meestal genegeerd, ook al staat het netjes op je server.
Praktische tip of verdieping
- Zet het bestand letterlijk als llms.txt in je documentroot (bijv. /var/www/html/llms.txt of /public_html/llms.txt).
- Gebruik plain text (UTF-8) en geen HTML of JSON; houd de naam volledig lowercase zonder extensies of extra tekens.
- Zorg dat je webserver statische bestanden serveert en dat er geen rewrite (bijv. naar index.php) het verzoek afvangt.
- Als je meerdere domeinen of subdomeinen hebt, plaats het bestand op elk domein waar je regels wilt toepassen (bijv. example.com en www.example.com).
Belangrijk onderdeel 2
Toegankelijkheid en statuscodes zijn cruciaal: het bestand moet met HTTP 200 terugkomen en zonder authenticatie toegankelijk zijn. Redirects naar een andere locatie of een 404/403 maken het bestand nutteloos voor crawlers.
Let ook op CDN- en cachinginstellingen: een verouderde of geblokkeerde versie op de CDN kan ertoe leiden dat modellen de oude regels negeren. Werk de cache bij of purge waar nodig.
Praktische tip of verdieping
- Upload
llms.txtnaar je webroot. - Controleer bereikbaarheid met een browser of een eenvoudige commandoregeltest:
curl -I https://jouwdomein.nl/llms.txt. - Controleer op HTTP/1.1 200 OK en header
Content-Type: text/plain. Als je redirect ziet (301/302), los dat op zodat de finale URL direct 200 retourneert. - Purge je CDN-cache als je de inhoud wijzigt en test opnieuw vanaf een andere netwerk of locatie.
- Herhaal dezelfde stappen voor elk subdomein of extra domein waar de regels van toepassing moeten zijn.
Praktische check die je nu kunt doen: ga naar https://jouwdomein.nl/llms.txt of voer curl -I https://jouwdomein.nl/llms.txt uit en controleer op status 200 en Content-Type: text/plain. Zie je iets anders? Controleer dan webroot-locatie, rewrite-rules en CDN-cache.