robots.txt
robots.txt is een tekstbestand op de root van je domein met Allow/Disallow-regels die crawlers vertellen welke paden ze wel of niet mogen bezoeken. Het blokkeert uitsluitend het crawlen, NIET het indexeren.
Wat het betekent
Een tekstbestand op jouwdomein.nl/robots.txt met Allow/Disallow-regels voor crawltoegang.
Waarom het telt voor indexering
Een Disallow op het verkeerde pad blokkeert crawlen volledig — de pagina kan zelfs perfect niet worden geïndexeerd.
Hoe je het controleert
Open /robots.txt direct of bevestig via het robots.txt-rapport / URL-inspectie dat een URL niet geblokkeerd is.
Hoe FastIndexing helpt
Onze pre-flightcheck markeert robots.txt-blokkades, zodat je toegang herstelt vóór indiening.
Frequently asked questions
Wat is robots.txt en waarvoor dient het?
robots.txt is een tekstbestand op jouwdomein.nl/robots.txt dat crawlers vertelt welke paden ze mogen of niet mogen ophalen. Het helpt je crawlbudget te beheren door irrelevante paden te weren.
Voorkomt robots.txt indexering?
Nee. robots.txt blokkeert alleen het crawlen, niet het indexeren. Een geblokkeerde URL kan toch worden geindexeerd als ze elders gelinkt staat, maar dan zonder dat Google de inhoud kent. Om een pagina echt uit de index te houden, gebruik je een noindex-tag en laat je de pagina crawlbaar.
Waar vind ik het robots.txt-bestand?
Altijd op de root van je domein: https://jouwdomein.nl/robots.txt. Elk subdomein heeft zijn eigen robots.txt.