Spis treści
Cześć! Jeśli zajmujesz się pozycjonowaniem firmowej strony, to z pewnością interesują Cię różne aspekty optymalizacji witryny pod kątem SEO. Jednym z nich jest plik TXT – a dokładniej robots.txt. W tym artykule opowiem Ci, czym jest, dlaczego ma duże znaczenie i jak możesz go szybko sprawdzić. Bez zbędnego technicznego żargonu – wszystko jasno i po ludzku, żebyś mógł od razu wykorzystać tę wiedzę w praktyce. Do dzieła!
Co to jest plik robots.txt?
Plik robots.txt to zwykły plik tekstowy, który umieszczasz w głównym katalogu swojej witryny (np. twojastrona.pl/robots.txt). Nie jest to jednak przypadkowy zbiór notatek – to instrukcja dla robotów wyszukiwarek, takich jak Googlebot, która mówi im, co mogą, a czego nie powinny indeksować na Twojej stronie. Wyobraź sobie, że to taki portier w klubie: wpuszcza gości (roboty) tam, gdzie chcesz, a blokuje dostęp do miejsc, które wolisz trzymać za zamkniętymi drzwiami.
Nie ma tu żadnej magii – plik jest prosty w budowie. Składa się z reguł, takich jak „User-agent” (dla kogo jest instrukcja) i „Disallow” (co blokujemy) albo „Allow” (co zezwalamy).
Dlaczego plik robots.txt jest ważny dla SEO?
Może się wydawać, że to tylko techniczny drobiazg, ale jego rola w SEO jest konkretna. Oto kilka powodów, dla których warto się nim zainteresować:
- kontrolujesz, co widzi Google – masz na stronie sekcje, które nie powinny pojawiać się w wynikach wyszukiwania, np. panel logowania, wersje testowe czy duplikaty treści? Robots.txt pozwala Ci je ukryć przed robotami, co chroni Twoją witrynę przed bałaganem w indeksie;
- optymalizujesz crawl budget – Google ma ograniczony czas na przeszukiwanie Twojej strony (tzw. crawl budget). Jeśli roboty marnują go na nieistotne podstrony, mniej uwagi poświęcą tym kluczowym – np. Twoim produktom czy artykułom. Poprawny plik robots.txt kieruje je tam, gdzie chcesz;
- unikasz problemów z duplikatami – jeśli masz wiele wersji tej samej treści (np. z parametrami URL), możesz niechcący zaszkodzić swojej pozycji w Google. Plik TXT pomoże zablokować indeksowanie takich stron;
- zabezpieczasz wrażliwe dane – nie chcesz, żeby dane z panelu administracyjnego czy pliki tymczasowe były widoczne w wyszukiwarce? Robots.txt to pierwsza linia obrony (choć pamiętaj, że nie zastąpi pełnego zabezpieczenia serwera).
Krótko mówiąc, dobrze skonfigurowany plik robots.txt sprawia, że Twoja strona jest bardziej „zrozumiała” dla wyszukiwarek, a Ty masz większą kontrolę nad tym, jak jest postrzegana.
Jak sprawdzić, czy Twoja strona ma plik robots.txt i czy jest prawidłowy?
Teraz przejdźmy do praktyki – bo teoria to jedno, a działanie to drugie.
Oto, co możesz zrobić, żeby upewnić się, że wszystko gra.
- Sprawdź, czy plik istnieje – wpisz w przeglądarce adres: twojastrona.pl/robots.txt. Jeśli widzisz tekst (nawet prosty, typu „User-agent: * Disallow:”), to plik jest. Jeśli dostajesz błąd 404, to znak, że go nie ma – a to już problem, bo Google może indeksować wszystko jak leci.
- Zweryfikuj poprawność składni – otwórz plik i zobacz, czy reguły mają sens. Typowe błędy to np.:
- „Disallow: /” (blokuje całą stronę – fatalny pomysł, jeśli chcesz być widoczny w Google),
- literówki w ścieżkach (np. „/adimn/” zamiast „/admin/”),brak spacji czy gwiazdek w „User-agent”.
- Upewnij się, że nie blokujesz ważnych rzeczy – zdarza się, że przez przypadek zablokujesz dostęp do CSS, JavaScriptu czy kluczowych podstron. Sprawdź, czy w pliku nie ma np. „Disallow: /wp-content/” (w przypadku WordPressa może to zablokować style i skrypty). Google lubi, jak strony są w pełni renderowalne, więc niech roboty mają do tego dostęp.
- Sprawdź, czy plik jest aktualny
Jeśli zmieniałeś strukturę strony, upewnij się, że robots.txt to odzwierciedla. Stare reguły mogą blokować coś, co teraz chcesz pokazać, albo przepuszczać rzeczy, które powinny być ukryte. - Przetestuj w praktyce
W Google Search Console znajdziesz sekcję „Narzędzie do testowania robots.txt”. Wklej tam swój plik, wpisz URL podstrony i sprawdź, czy roboty mają do niej dostęp zgodnie z Twoimi zamiarami.
