Wil je snel weten of je llms.txt bestand goed bereikbaar en correct geconfigureerd is? Veel ontwikkelaars en SEO-specialisten missen eenvoudige controles, met als gevolg dat AI-crawlers fouten of onduidelijke instructies tegenkomen.
Bij llmstxt.nl helpen we je stap voor stap met praktische curl-commando’s zodat je binnen een minuut kunt vaststellen of alles klopt. Dit artikel laat duidelijke checks en voorbeelden zien — geen vakjargon, wél resultaat.
Belangrijk onderdeel 1
Locatie en bereikbaarheid zijn cruciaal: llms.txt hoort via /.well-known/llms.txt bereikbaar te zijn en moet een HTTP 200 teruggeven. Met curl controleer je eenvoudig statuscodes, headers en de inhoud van het bestand.
Praktische tip of verdieping
curl -I https://example.com/.well-known/llms.txt— controleer de HTTP-status en headers (200, Content-Type).curl -sS https://example.com/.well-known/llms.txt | head -n 20— bekijk de eerste regels van het bestand om syntax en directives te valideren.curl -sS -L https://example.com/.well-known/llms.txt— volg redirects; handig als het bestand via een andere host of CDN wordt geserveerd.curl -sS -I https://yourdomain/.well-known/llms.txt | grep -i 'Cache-Control\|Content-Type'— controleer caching en content-type (moet vaak text/plain zijn).
Belangrijk onderdeel 2
Naast bereikbaarheid wil je weten of je directives logisch zijn en dat specifieke user-agents correct worden behandeld. Met curl kun je eenvoudig simuleren hoe een crawler jouw llms.txt leest en of regels werken zoals bedoeld.
Praktische tip of verdieping
- Fetch de raw file en controleer op fouten:
curl -sS https://example.com/.well-known/llms.txt -o /tmp/llms.txt && nl -ba /tmp/llms.txt | sed -n '1,200p'. - Simuleer een specifieke crawler of agent:
curl -A "My-AI-Crawler/1.0" -sS https://example.com/.well-known/llms.txtom te zien of er user-agent specifieke regels zijn. - Valideer regels op syntax: kijk of directives voldoen aan jouw beleidsregels (bijv. Allow/Disallow, Crawl-delay of domeinspecifieke uitsluitingen) en test wijzigingen lokaal voordat je ze live zet.
- Controleer server- en CDN-gedrag:
curl -sS -I -L https://example.com/.well-known/llms.txtvoor headers van alle hoppen; let op verschillen in Content-Type of caching die de leesbaarheid voor crawlers kunnen beïnvloeden.
Praktische check die je nu direct kunt uitvoeren: voer curl -sS -I -L https://jouwdomein/.well-known/llms.txt | egrep -i 'HTTP/|Content-Type:|Cache-Control:' uit en controleer dat je 200 krijgt, Content-Type op text/plain staat en dat Cache-Control overeenkomt met je update-frequentie — zo weet je binnen enkele seconden of er iets knelt.