Sitemap en robots.txt uitgelegd: wat ze wel en niet doen voor je website

Een sitemap is een lijst van de pagina's die je wilt laten vinden, en robots.txt is een tekstbestand waarmee je crawlers vertelt waar ze wel of niet mogen komen. Allebei helpen zoekmachines, geen van beide garandeert iets. Een sitemap zorgt er niet voor dat alles in Google komt, en robots.txt houdt een pagina niet betrouwbaar uit Google. Het is dus belangrijk om te weten welk gereedschap waarvoor dient. Dit artikel legt het uit aan de hand van de documentatie van Google en de standaard RFC 9309, met praktische keuzes voor een MKB-website.

Wat doet een sitemap?

Een sitemap vertelt zoekmachines welke pagina's op je site bestaan. Google schrijft dat een sitemap zoekmachines helpt je pagina's te vinden, maar dat het niet garandeert dat alle items in de sitemap gecrawld en geïndexeerd worden. Zie het als een inhoudsopgave die je aanbiedt. Of Google de pagina's daadwerkelijk bezoekt en opneemt, bepaalt Google zelf. Een sitemap is dus een hulpmiddel, geen opdracht. Zet er alleen pagina's in die je werkelijk in de zoekresultaten wilt hebben.

Een sitemap heeft ook een nevenrol. Als je dezelfde inhoud op meerdere adressen hebt, kiest Google een voorkeursadres, het zogeheten canonical. Volgens de Google-documentatie over het samenvoegen van dubbele URL's is opname in een sitemap daarvoor een zwak signaal. Redirects en het rel="canonical"-attribuut zijn sterkere signalen. Een canonical aangeven is bovendien niet verplicht: zonder voorkeur kiest Google zelf de beste versie. Bouw je site dus zo dat elke pagina maar op een adres bereikbaar is, dan hoef je hier weinig aan te sturen.

De technische eisen zijn eenvoudig. Volgens Google beperken alle sitemapformaten een enkele sitemap tot 50 MB ongecomprimeerd of 50.000 URL's. Voor een bedrijfssite is dat ver weg. Heb je een grote webshop die daar overheen gaat, dan splits je de lijst over meerdere sitemaps. Per 11 oktober 2026 geldt dit volgens de documentatie van Google. Controleer bij een grote site dus of je sitemap niet stilzwijgend is afgekapt, want een onvolledige lijst laat pagina's onopgemerkt.

Heeft een kleine website een sitemap nodig?

Heeft een kleine website een sitemap nodig? Google noemt een site van ongeveer 500 pagina's of minder klein en schrijft dat zo'n site mogelijk geen sitemap nodig heeft. Dat betekent niet dat een sitemap schadelijk is. Voor een bedrijfssite kost hij weinig moeite en hij maakt het vinden van nieuwe pagina's makkelijker, zeker bij een nieuwe site met weinig links. Laat hem daarom bij het bouwen automatisch genereren. Controleer vooral of hij actueel blijft wanneer je pagina's toevoegt of verwijdert.

Wat zet je er wel en niet in? Alleen adressen die je in de zoekresultaten wilt hebben en die een werkende pagina tonen. Ons advies: laat pagina's die je juist uit Google wilt houden, doorverwijzingen en dubbele varianten weg, zodat de sitemap niet iets anders zegt dan de rest van je site. Houd de sitemap gelijk aan wat je op de site toont: nieuwe artikelen erin, verwijderde pagina's eruit. Zo wordt hij betrouwbaar. Bij een verhuizing van je site is dit een van de eerste dingen om te controleren, zie ons werk rond website-migratie.

Wat is robots.txt en welk probleem lost het op?

Robots.txt is een bestand op de hoofdmap van je domein dat crawlers vertelt welke delen ze mogen ophalen. Het volgt het Robots Exclusion Protocol, vastgelegd in RFC 9309. Google beschrijft het doel als het beheren van crawlverkeer. Het is dus een verkeersregelaar voor bots en geen sleutel tot de zoekresultaten. Ons advies voor een kleine site is een kort bestand: een regel die alles toestaat en een verwijzing naar de sitemap. Hoe meer regels, hoe meer je moet controleren, en dat geldt zeker voor regels die je niet kunt uitleggen.

Houd het bestand klein. RFC 9309 bepaalt dat de parsing-limiet van een crawler minimaal 500 kibibytes moet zijn. Voor een MKB-site is dat geen praktisch probleem. Een groot bestand is wel lastiger te controleren, dus ons advies is: schrijf een paar duidelijke regels en test ze. Een fout in robots.txt, zoals een regel die per ongeluk de hele site blokkeert, kan crawlers weghouden van pagina's die je juist gevonden wilt hebben. Controleer het bestand daarom na elke wijziging.

Waarom is robots.txt geen beveiliging?

Belangrijk: robots.txt is geen beveiliging. RFC 9309 zegt dat robots.txt-regels geen vorm van toegangsautorisatie zijn. Wie een pagina wil bezoeken, kan dat dus nog steeds. Ons advies: zie robots.txt als een verzoek aan crawlers die zich eraan houden, niet als een slot op de deur. Zet nooit een privé-pagina of een document met gevoelige gegevens achter alleen een robots.txt-regel. Gebruik daarvoor een wachtwoord of een andere vorm van echte toegangscontrole op de server.

Ook voor AI-bots geldt dat het een afspraak is en geen afdwingbare muur. Per 11 oktober 2026 geeft Anthropic op zijn site aan dat zijn bots de robots.txt-directieven respecteren en gebruikt drie robots: ClaudeBot, Claude-User en Claude-SearchBot. Perplexity schrijft over Perplexity-User dat die robots.txt-regels over het algemeen negeert, omdat een gebruiker het ophalen heeft gevraagd. Verschillende aanbieders gaan dus verschillend om met het bestand. Wat je instelt, werkt alleen bij partijen die zich eraan houden.

Hoe houd je een pagina uit Google?

Hoe houd je dan een pagina uit Google? Google schrijft dat robots.txt niet bedoeld is om een webpagina uit Google te houden. Een door robots.txt geblokkeerde pagina kan zijn URL nog steeds in de zoekresultaten tonen, zonder beschrijving. Voor pagina's die niet in Google mogen, noemt Google noindex of wachtwoordbeveiliging als juiste middelen. Het verschil is dus: disallow regelt of een crawler de pagina ophaalt, noindex regelt of de pagina in de resultaten komt. Dat zijn twee verschillende vragen met twee verschillende antwoorden. Een bezoeker die de pagina rechtstreeks opent, ziet in beide gevallen gewoon de pagina.

Een voorbeeld uit de praktijk. Je hebt een bedankpagina na een contactformulier, die je niet in Google wilt. Je zet daar noindex op, zodat hij niet in de resultaten terechtkomt. Een testomgeving beveilig je met een wachtwoord, zodat niemand hem kan openen. Je robots.txt gebruik je om crawlverkeer te sturen, niet om geheimen te bewaren. Zo gebruik je elk middel waarvoor het bedoeld is, en voorkom je dat een pagina die je juist wilt verbergen toch zichtbaar blijft.

Wat kun je er in de praktijk mee doen?

Je praktische checklist: één sitemap met alleen indexeerbare pagina's, een korte robots.txt die de sitemap noemt, noindex voor pagina's die niet in Google horen en wachtwoorden voor alles wat privé is. Controleer na elke grote wijziging of een van deze bestanden niet per ongeluk is veranderd. Verwacht er geen wonderen van: Google zegt zelf dat er geen garantie is dat een site wordt geïndexeerd. Lees ook onze uitleg over title en meta description, het andere deel van de technische basis die elke pagina nodig heeft.

Digitaalnu bouwt, onderhoudt en host websites, met een vaste prijs en volledige eigendom van je code en data. Wil je dat iemand je sitemap en robots.txt naloopt, dan kan dat als onderdeel van het werk aan je site. Een website voor vakmensen begint vanaf €750. Staat je bestaande site er technisch rommelig bij, dan bekijken we dat bij WordPress-onderhoud of bij een nieuwe website voor vakmensen. Neem contact op voor een vrijblijvend gesprek.

Laatst bijgewerkt op 11 oktober 2026