Robots.txt to plik tekstowy, który znajduje się w głównym katalogu witryny internetowej. Jego główną funkcją jest komunikowanie się z robotami wyszukiwarek, które indeksują strony internetowe. Plik ten zawiera instrukcje dotyczące tego, które części strony powinny być indeksowane przez roboty, a które nie.
W kontekście WordPress, plik robots.txt pozwala na kontrolowanie dostępu do niektórych części witryny, takich jak folder wp-admin, co może być istotne dla ochrony prywatności i bezpieczeństwa. Dzięki temu można np. wyłączyć indeksowanie stron administracyjnych lub zapobiec indeksowaniu niektórych plików.
Dostęp przez FTP lub Manager Plików:
– Połącz się z serwerem za pomocą klienta FTP, takiego jak FileZilla, lub użyj Menedżera Plików w panelu zarządzania hostingiem.
– Przejdź do katalogu głównego swojej witryny WordPress, gdzie znajdują się pliki takie jak wp-config.php.
Stworzenie lub edycja pliku:
– Jeśli plik robots.txt nie istnieje, utwórz nowy plik tekstowy i nazwij go „robots.txt”.
– Dodaj lub edytuj w nim instrukcje dla robotów, np.:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
– Instrukcja `Disallow` oznacza, że roboty nie powinny indeksować określonych zasobów. Instrukcja `Allow` jest stosowana, gdy chcemy udostępnić dostęp do konkretnych plików w zablokowanym katalogu.
Zapisz zmiany:
– Zapisz wprowadzone zmiany i upewnij się, że plik jest poprawnie umieszczony w katalogu głównym.
Sprawdzenie poprawności:
– Sprawdź poprawność swojego pliku robots.txt, korzystając z narzędzi dostępnych online lub w konsoli Google Search Console.
Dzięki poprawnie skonfigurowanemu plikowi robots.txt możesz efektywnie zarządzać tym, jak wyszukiwarki widzą Twoją witrynę WordPress.
Wypełnij poniższy formularz - odezwę się do Ciebie, by porozmawiać o Twojej stronie internetowej.