robots.txt
Plik robots.txt to plik tekstowy umieszczony pod adresem twojadomena.pl/robots.txt, ktory informuje crawlery, ktore sciezki moga, a ktorych nie moga odwiedzac — kontroluje dostep do crawlowania, nie do indeksowania.
Co to znaczy
Plik tekstowy pod twojadomena.pl/robots.txt z regułami Allow/Disallow dla dostępu robotów.
Dlaczego to ważne dla indeksowania
Disallow na złej ścieżce całkowicie blokuje crawlowanie — strona nie zostanie zindeksowana, choćby była idealna.
Jak to sprawdzić
Otwórz /robots.txt bezpośrednio lub potwierdź przez raport robots.txt / Inspekcję URL, że URL nie jest zablokowany.
Jak pomaga FastIndexing
Nasz pre-flight oznacza blokady w robots.txt, byś naprawił dostęp przed wysyłką.
Frequently asked questions
Co to jest plik robots txt?
To plik konfiguracyjny dla robotow wyszukiwarek; zawiera reguly Allow/Disallow okreslajace, do jakich sekcji witryny crawler moze uzyskac dostep.
Czy robots.txt zapobiega indeksowaniu?
Nie — robots.txt blokuje wylacznie crawlowanie. Strona zablokowana w robots.txt moze nadal zostac zindeksowana (bez tresci), jezeli jest podlinkowana z zewnatrz. Jesli chcesz wykluczyc strone z indeksu, uzyj dyrektywy noindex i pozostaw ja dostepna dla crawlerow.
Gdzie znajduje sie plik robots.txt?
Zawsze w katalogu glownym domeny: https://twojadomena.pl/robots.txt. Kazda subdomena ma wlasny plik.