GLOSSAR-BEGRIFF
robots.txt
Eine Datei, die Crawlern sagt, welche Pfade sie crawlen dürfen — und welche nicht.
Stand Mai 2026
Was es bedeutet
Eine Textdatei unter deinedomain.de/robots.txt mit Allow/Disallow-Regeln für den Crawler-Zugriff.
Warum es für die Indexierung zählt
Ein Disallow auf dem falschen Pfad blockiert das Crawling komplett — die Seite kann selbst perfekt nicht indexiert werden.
Wie du es prüfst
/robots.txt direkt öffnen oder per robots.txt-Bericht / URL-Prüfung bestätigen, dass eine URL nicht blockiert ist.
Wie FastIndexing hilft
Unser Pre-flight-Check markiert robots.txt-Blockaden, damit du den Zugriff vor dem Einreichen reparierst.