llms.txt configureren binnen DirectAdmin

llms.txt is het bestand waarmee je AI-crawlers en language model agents instructies geeft over welke content ze mogen gebruiken. Veel beheerders weten niet precies waar dit bestand moet staan of hoe het correct wordt geserveerd vanuit DirectAdmin.

In dit artikel leggen we stap voor stap uit hoe je llms.txt aanmaakt, waar je het plaatst binnen DirectAdmin en welke instellingen je moet controleren. We zijn llmstxt.nl — gespecialiseerd in alles rondom het llms.txt-bestand — en geven direct toepasbare tips.

Bestandslocatie en basisinstelling

Het llms.txt-bestand moet bereikbaar zijn vanuit de webroot van de site, bijvoorbeeld /domains/jouwdomein.nl/public_html/llms.txt in DirectAdmin. De bestandsnaam moet exact llms.txt zijn en case-sensitive op veel servers.

Zorg dat de webserver het bestand rechtstreeks kan serveren zonder extra authenticatie of redirects. Controleer ook dat er geen serverregels in .htaccess of nginx-config voorkomen die toegang blokkeren.

Praktische tip of verdieping

• Maak het bestand aan via DirectAdmin File Manager of upload via FTP/SFTP naar /domains/jouwdomein.nl/public_html/
• Stel permissies in op 644 (eigenaar lezen/schrijven, groep/world lezen) zodat de webserver het kan uitlezen.
• Voorbeeldinhoud die je kunt beginnen gebruiken:

  User-agent: *
  Disallow:
  Allow: /
  

• Voeg alleen specifieke regels toe als je precies wilt beperken welke agents mogen crawlen; houd het bestand compact en eenduidig.

Serverregels, subdomeinen en redirects

Als je meerdere sites of subdomeinen hebt moet je llms.txt op elke relevante host plaatsen. Een llms.txt op example.com geldt niet automatisch voor sub.example.com tenzij je een redirect of serverconfig maakt die het bestand serveert voor beide hosts.

Let op redirectketens: een 301-redirect naar een andere host werkt, maar sommige crawlers volgen redirects beperkt. Het veiligste is het bestand direct op elke host serveren.

Praktische tip of verdieping

1. Plaats llms.txt in de public_html van elke domein/subdomein waarvoor je instructies wilt geven.
2. Als je één centrale llms.txt wilt gebruiken, maak een server-side redirect of rewrite die /llms.txt naar de centrale locatie stuurt en test of crawlers de redirect volgen.
3. Controleer .htaccess (Apache) of serverblok (nginx) op regels die caching, content-type of authenticatie beïnvloeden. Zorg dat Content-Type: text/plain wordt geserveerd.
4. Test met curl: curl -I https://jouwdomein.nl/llms.txt — je moet HTTP/1.1 200 OK en Content-Type: text/plain zien.

Praktische check die je nu direct kunt doen: open een incognitovenster en ga naar https://jouwdomein.nl/llms.txt (vervang met jouw domein). Als je het bestand ziet en curl -I geeft een 200-status en text/plain, is de configuratie OK — zo niet, controleer locatie, permissies en .htaccess- of serverregels.