AI-crawlers en llms.txt uitgelegd: wat je kunt instellen en wat niet bewezen is

AI-bedrijven gebruiken eigen crawlers, zoals GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot en PerplexityBot. OpenAI en Anthropic beschrijven in hun documentatie hoe je hun bots per naam aanstuurt in je robots.txt, en Google doet dat voor het token Google-Extended. Het bestand llms.txt is daarentegen een voorstel van llmstxt.org, en Google zegt dat het je zichtbaarheid in Google Zoek niet schaadt en niet helpt, omdat Google Zoek het negeert. Dit artikel noemt per bot wat de eigen documentatie van het bedrijf zegt, waar die documentatie ophoudt, en wat in de praktijk niet is vastgesteld. De stand is van 11 oktober 2026 en bots en voorwaarden veranderen.

Welke AI-crawlers bestaan er en waarvoor dienen ze?

Begin bij OpenAI. Het bedrijf schrijft in zijn documentatie dat het OAI-SearchBot en GPTBot gebruikt als robots.txt-tags, zodat webmasters kunnen beheren hoe hun sites en content met AI samenwerken. Volgens OpenAI staat elke instelling los van de andere. Je kunt in robots.txt dus per bot een keuze maken. Dat verschil is belangrijk, omdat de twee verschillende doelen dienen. Wie ze over één kam scheert, neemt een besluit over twee dingen tegelijk zonder dat te merken.

Volgens OpenAI wordt OAI-SearchBot gebruikt om websites te tonen in de zoekfuncties van ChatGPT. GPTBot crawlt content die gebruikt kan worden voor het trainen van generatieve foundation-modellen. Met Disallow voor GPTBot geef je aan dat je content niet daarvoor gebruikt mag worden. Er is een derde naam, ChatGPT-User, die voor gebruikersacties in ChatGPT wordt gebruikt. OpenAI schrijft dat die acties door een gebruiker worden gestart, en dat robots.txt-regels daarom mogelijk niet van toepassing zijn. Per 11 oktober 2026 staat dit zo in de documentatie van OpenAI.

Per 11 oktober 2026 noemt Anthropic in zijn helpartikel drie robots: ClaudeBot, Claude-User en Claude-SearchBot. ClaudeBot hoort bij het verzamelen voor training, Claude-User bij verzoeken van gebruikers en Claude-SearchBot bij de kwaliteit van zoekresultaten. Anthropic schrijft dat zijn bots "do not crawl"-signalen respecteren door de gangbare directieven in robots.txt te honoreren. Beperk je ClaudeBot, dan geef je volgens Anthropic aan dat toekomstig materiaal van je site uit de trainingsdatasets voor zijn AI-modellen moet worden uitgesloten. Ook dit is een bewering van het bedrijf zelf.

Perplexity beschrijft twee fetchers. PerplexityBot is volgens de documentatie (stand 11 oktober 2026) bedoeld om websites te tonen en te linken in Perplexity-zoekresultaten, en wordt niet gebruikt om content voor AI-foundation-modellen te crawlen. Perplexity-User ondersteunt gebruikersacties. Omdat een gebruiker het ophalen vraagt, negeert die fetcher over het algemeen robots.txt-regels, aldus Perplexity. Het patroon is bij OpenAI en Perplexity gelijk: de bot die voor zoekresultaten dient staat los van de bot voor training, en een verzoek dat een gebruiker zelf doet, volgt de regels niet altijd.

Google-Extended werkt anders dan de bots hierboven. Het is per 11 oktober 2026 volgens Google een zelfstandig producttoken waarmee uitgevers kunnen beheren of content die Google crawlt, mag worden gebruikt voor het trainen van toekomstige generaties Gemini-modellen en voor grounding. Google zegt uitdrukkelijk dat Google-Extended geen invloed heeft op de opname in Google Zoek en niet als rankingsignaal wordt gebruikt. Het token heeft ook geen eigen HTTP user-agentstring. Je ziet het dus niet als aparte bezoeker in je serverlogs, en je zet het alleen in je robots.txt.

Hoe stuur je AI-crawlers aan via robots.txt?

Hoe stel je dit in? In een robots.txt noem je een User-agent en daaronder de regels die voor die bot gelden. Je kunt per crawler kiezen. De documentatie van OpenAI beschrijft GPTBot als de crawler voor content die gebruikt kan worden voor het trainen van generatieve foundation-modellen, en OAI-SearchBot als de bot die websites toont in de zoekfuncties van ChatGPT. Anthropic beschrijft dat het beperken van ClaudeBot aangeeft dat toekomstig materiaal van je site uit de trainingsdatasets moet blijven. Voor Google-Extended zet je dat token als User-agent in het bestand. Schrijf de namen precies zoals de bedrijven ze noemen en controleer na elke wijziging of het bestand op de hoofdlocatie van je domein bereikbaar is.

Houd rekening met de grenzen van robots.txt. Het Robots Exclusion Protocol (RFC 9309) stelt dat de regels geen vorm van toegangsautorisatie zijn, en Google schrijft dat een robots.txt bedoeld is om crawlverkeer te beheren en geen mechanisme is om een pagina uit Google te houden. Voor echt vertrouwelijke inhoud gebruik je een inlog of een andere vorm van toegangsbeveiliging. Daarnaast schrijft OpenAI dat robots.txt-regels bij gebruikersacties mogelijk niet van toepassing zijn, en Perplexity dat Perplexity-User de regels over het algemeen negeert. Wie alleen op robots.txt vertrouwt, kan dus niet alles uitsluiten.

Wat is llms.txt volgens het voorstel?

Dan llms.txt. Het voorstel op llmstxt.org luidt per 11 oktober 2026: voeg een markdown-bestand /llms.txt toe aan je website met LLM-vriendelijke content, zoals korte achtergrond, richtlijnen en links naar detailbestanden. De H1 met de naam van het project of de site is volgens het voorstel de enige verplichte sectie. Het voorstel presenteert llms.txt als aanvulling op robots.txt en sitemaps en niet als vervanger: het is bedoeld om naast de bestaande webstandaarden te bestaan. Het blijft een voorstel, zo presenteert llmstxt.org het zelf ook. Voor robots.txt bestaat wel een gepubliceerde specificatie: RFC 9309, het Robots Exclusion Protocol, uitgegeven via de RFC Editor van de IETF.

Wat zegt Google over llms.txt?

Wat zegt Google? Per 11 oktober 2026 schrijft Google in zijn richtlijnen over AI-optimalisatie dat je geen nieuwe machineleesbare bestanden, AI-tekstbestanden, markup of Markdown hoeft te maken om in Google Zoek te verschijnen, inclusief de generatieve AI-functies. Een llms.txt aanmaken schaadt of helpt je zichtbaarheid en posities in Google Zoek volgens Google niet, omdat Google Zoek het negeert. Google raadt aan tactieken als het opdelen van content in stukjes en het maken van onnodige AI-tekstbestanden zoals llms.txt te negeren, en te focussen op unieke, behulpzame content.

Betekent dat dat llms.txt nutteloos is? Dat volgt niet uit de bronnen. Google spreekt alleen over Google Zoek, en andere diensten kunnen het bestand in principe gebruiken. Dat een AI-dienst je llms.txt leest en daardoor eerder naar je verwijst, hebben wij in de geraadpleegde bronnen niet gevonden. Je kunt het bestand aanmaken als het weinig moeite kost, maar reken niet op een meetbaar effect.

Wat is bewezen en wat niet?

Wat is dan wel bewezen? Vastgesteld is wat de bedrijven zelf in hun documentatie beschrijven: welke namen bestaan en waarvoor ze bedoeld zijn, en dat robots.txt de aangewezen plek is om ze aan te sturen. Ook is vastgesteld wat Google over llms.txt zegt. Niet vastgesteld, althans niet in onze bronnen, is of bots zich in de praktijk altijd aan hun eigen documentatie houden, en of een bepaalde instelling ervoor zorgt dat je vaker in AI-antwoorden wordt genoemd. Onderzoek van derden hebben we hiervoor bewust niet gebruikt.

Wat doe je er praktisch mee?

Een praktische aanpak voor je site. Bepaal eerst wat je wilt: genoemd worden in zoekfuncties van AI-diensten, je content niet laten gebruiken voor training, of allebei. Vertaal die keuze naar regels per bot in je robots.txt en schrijf op welke datum je dat deed, want de documentatie van de bedrijven is verouderingsgevoelig. Kijk in je serverlogs welke bots echt langskomen. Zorg dat de basis klopt: duidelijke, unieke content en een bereikbare site. Daar begint ook de aanbeveling van Google mee: unieke, behulpzame content in plaats van losse trucs. Bekijk de instellingen daarna opnieuw als een bedrijf zijn documentatie aanpast.

Heb je hulp nodig bij het robots.txt-bestand, de serverlogs of het onderhoud van je site, dan kan Digitaalnu dat oppakken. Bij hosting regelen we de serverkant, bij WordPress-onderhoud houden we de instellingen up-to-date, en voor een nieuwe site kijk je bij AI-integraties. Lees ook wat IndexNow en RSS echt doen en hoe een AI-chatbot voor bedrijven werkt. De instellingen in dit artikel zijn een momentopname van 11 oktober 2026. Controleer de documentatie van de betreffende bedrijven voordat je een regel aanpast, en noteer wat je wijzigt.

Laatst bijgewerkt op 11 oktober 2026