Zo controleer je of je llms.txt bestand goed werkt – LLMSTXT

Iedere website-eigenaar die wil dat grote taalmodellen (LLM’s) correct omgaan met zijn content, heeft een werkend llms.txt bestand nodig. Maar hoe weet je zeker dat het bestand echt werkt zoals bedoeld? Veel sites publiceren een llms.txt maar vergeten te controleren of het bestand bereikbaar is, correct geformatteerd wordt geserveerd of niet per ongeluk wordt geblokkeerd.

In dit artikel laten we praktische, snelle controles zien waarmee je binnen enkele minuten kunt vaststellen of jouw llms.txt bestand goed werkt. Geen theoretische lappendeken — gewoon concrete stappen en voorbeelden die je direct kunt uitvoeren.

Bestandslocatie en toegankelijkheid

De eerste check is altijd: staat het bestand op de verwachte locatie en is het bereikbaar voor gebruikers en bots? Veel standaarden verwachten een bestand op /.well-known/llms.txt of direct op /llms.txt. Als het bestand niet op een van beide plekken staat, gaan tools en crawlers het vaak niet vinden.

Controleer ook of je server het bestand teruggeeft met een HTTP-status 200 en dat er geen authenticatie of redirects in de weg zitten. Een 403, 404 of een 500 betekent dat het bestand niet bruikbaar is.

Praktische tip of verdieping

Probeer beide locaties in je browser: https://example.com/.well-known/llms.txt en https://example.com/llms.txt.
Gebruik een snelle commandline-check:
```
curl -I https://example.com/.well-known/llms.txt
```
Kijk naar de statuscode (200) en naar Content-Type.
Zorg dat er geen login of IP-blocking staat op die URL (bijv. via .htaccess of firewall).

Inhoud, syntaxis en serverinstellingen

Als de file bereikbaar is, controleer dan de inhoud: is de syntaxis conform jouw beleid en is het bestand in UTF-8 zonder onzichtbare tekens? Kleine fouten zoals verkeerde encodering, BOM-bytes of CRLF issues kunnen zorgen dat parsers falen. Zorg ook dat de server de juiste headers meegeeft, zoals Content-Type: text/plain; charset=utf-8.

Tot slot: controleer of je llms.txt niet wordt tegengewerkt door andere headers of robotsregels, zoals een X-Robots-Tag: noindex of een robots.txt die crawlers blokkeert van de locatie.

Praktische tip of verdieping

Open het bestand en controleer encoding: sla het op als UTF-8 zonder BOM in je editor.
Bekijk de eerste regels op onzichtbare tekens met een hex-viewer of xxd op de server:
```
xxd -g 1 llms.txt | head
```
Controleer headers met curl:
```
curl -I https://example.com/.well-known/llms.txt
```
Let op Content-Type, caching (Cache-Control) en eventuele X- headers.
Valideer syntaxis met onze validator op llmstxt.nl of met een andere online tool om fouten in regels te detecteren.
Controleer robots.txt en server firewalls zodat bot-agents daadwerkelijk toegang hebben tot de llms.txt locatie.

Laatste check die je direct kunt doen: voer deze twee commando’s uit en vergelijk de output—als beide positief zijn, werkt je llms.txt waarschijnlijk goed:

curl -I https://example.com/.well-known/llms.txt
curl https://example.com/.well-known/llms.txt | sed -n '1,20p'

Als je status 200 krijgt en de inhoud er logisch uitziet (UTF-8, leesbare regels, contact/beleid waar nodig), dan ben je klaar — anders los je direct de gevonden fout op.