Jedna linia User-agent: * może jednocześnie odciąć trening modeli, widoczność strony w odpowiedziach ChatGPT i klasyczne indeksowanie w Google. Zwykle nie jest to zamierzony efekt. Problem zaczyna się od błędnego założenia, że każdy crawler związany z AI wykonuje to samo zadanie.
GPTBot odpowiada za pobieranie treści, które mogą zostać wykorzystane do trenowania modeli OpenAI. OAI-SearchBot służy do odkrywania i prezentowania stron w wynikach ChatGPT Search. Google-Extended nie jest natomiast osobnym crawlerem, którego da się rozpoznać po nagłówku HTTP. To token sterujący sposobem wykorzystania treści pobranych przez istniejące crawlery Google.
Do tego dochodzą zapytania wykonywane bezpośrednio na polecenie użytkownika, takie jak ruch oznaczony przez OpenAI jako ChatGPT-User, oraz klasyczny Googlebot, który obsługuje Google Search. Administrator nie powinien więc tworzyć jednej listy „botów AI”, lecz przypisać każdemu tokenowi konkretną funkcję i konkretny zakres dostępu.
Poniższe informacje odpowiadają dokumentacji obowiązującej 14 lipca 2026 roku.
GPTBot, OAI-SearchBot i Google-Extended: trzy funkcje, trzy osobne decyzje
Najpierw trzeba oddzielić cztery typy operacji, które często są wrzucane do jednego worka:
- pobieranie treści do potencjalnego trenowania modeli,
- odkrywanie stron na potrzeby wyszukiwania i generowania odpowiedzi,
- pobieranie strony na bezpośrednie żądanie użytkownika,
- klasyczne przeszukiwanie internetu przez wyszukiwarkę.
To rozróżnienie nie jest semantyczne. Od niego zależy, czy blokada ograniczy trening, usunie stronę z systemu odpowiedzi AI, czy przypadkowo zaszkodzi jej widoczności w Google.
Token w robots.txt |
Deklarowana funkcja | Co pojawia się w logach | Możliwy skutek Disallow: / |
|---|---|---|---|
| GPTBot | Pobieranie treści, które mogą zostać wykorzystane do trenowania modeli OpenAI | User-agent zawierający GPTBot; numer wersji może się zmieniać |
Treści witryny nie powinny być wykorzystywane do trenowania podstawowych modeli OpenAI. Blokada nie wyłącza automatycznie ChatGPT Search. |
| OAI-SearchBot | Odkrywanie i prezentowanie stron w ChatGPT Search | User-agent zawierający OAI-SearchBot; numer wersji może się zmieniać |
Strona nie powinna być prezentowana w odpowiedziach ChatGPT Search. Sam adres lub tytuł może jednak nadal pojawić się jako link nawigacyjny, jeżeli OpenAI pozyska go z innego źródła. |
| Google-Extended | Kontrola wykorzystania treści przez systemy Gemini, między innymi do trenowania przyszłych modeli oraz do ugruntowywania odpowiedzi w Gemini Apps i Vertex AI | Brak osobnego user-agenta HTTP; ruch odbywa się przez istniejące crawlery Google | Ogranicza wskazane zastosowania treści, ale nie blokuje Googlebota i nie obniża pozycji strony w Google Search. |
| Googlebot | Crawlowanie na potrzeby Google Search, w tym funkcji wyszukiwania wykorzystujących AI | Standardowe identyfikatory Googlebota | Może ograniczyć crawlowanie, indeksowanie i widoczność strony zarówno w klasycznych wynikach, jak i funkcjach AI należących do Google Search. |
| ChatGPT-User | Pobranie strony wywołane konkretną czynnością użytkownika w produkcie OpenAI | User-agent zawierający ChatGPT-User |
Nie jest to automatyczny crawler wyszukiwarki. OpenAI zastrzega, że reguły robots.txt mogą nie mieć zastosowania do takich żądań. Dostęp do chronionych danych trzeba kontrolować po stronie serwera. |
OpenAI podaje obecnie przykładowe wersje GPTBot/1.4 i OAI-SearchBot/1.4, ale numery wersji nie są stałe. W pliku należy używać nazw produktów:
User-agent: GPTBota nie:
User-agent: GPTBot/1.4Ta sama zasada dotyczy OAI-SearchBot. Użycie numeru wersji niepotrzebnie zawęża dopasowanie i może przestać działać po aktualizacji crawlera.
GPTBot dotyczy treningu, a nie widoczności w ChatGPT Search
Najprostsza samodzielna reguła blokująca GPTBot wygląda tak:
User-agent: GPTBot
Disallow: /Taka konfiguracja przekazuje OpenAI instrukcję, że żadna ścieżka w danym serwisie nie jest dostępna dla GPTBot. Nie oznacza jednak automatycznego usunięcia strony z odpowiedzi wyszukiwarki ChatGPT. Za ten obszar odpowiada osobny token – OAI-SearchBot.
Możliwa jest więc rozsądna konfiguracja, w której firma:
- pozwala prezentować publiczne materiały w ChatGPT Search,
- blokuje ich wykorzystanie przez GPTBot do trenowania modeli,
- pozostawia klasyczną widoczność w Google bez zmian.
OpenAI deklaruje, że ustawienia GPTBot i OAI-SearchBot są niezależne. Jednocześnie, gdy oba boty mają dostęp, firma może wykorzystać wynik jednego procesu crawlowania do obu dozwolonych zastosowań. Z tego powodu pojedynczy wpis w logach nie zawsze odpowiada dokładnie jednemu celowi przetwarzania. O tym, co zostało dozwolone, rozstrzyga zestaw reguł, a nie sama liczba żądań widocznych w logu.
OAI-SearchBot odpowiada za obecność w ChatGPT Search
Pełna blokada wygląda następująco:
User-agent: OAI-SearchBot
Disallow: /Jej konsekwencją jest rezygnacja z prezentowania treści strony w odpowiedziach ChatGPT Search. Nie wpływa ona na GPTBot, o ile dla GPTBot nie została dodana odrębna reguła.
Jest tu ważne ograniczenie. Blokada crawlera nie daje gwarancji, że nazwa strony i jej adres całkowicie znikną z produktów OpenAI. Adres może zostać pozyskany z zewnętrznej wyszukiwarki, katalogu, linku na innej stronie lub wcześniejszych danych. OpenAI wskazuje, że w takim przypadku może pozostać link nawigacyjny wraz z tytułem, nawet bez pobierania zawartości strony.
Jeżeli celem jest usunięcie publicznej strony z wyników, sama blokada robots.txt bywa złym pierwszym krokiem. Crawler musi mieć możliwość pobrania dokumentu, aby odczytać dyrektywę noindex. Zablokowanie adresu przed odczytaniem noindex może pozostawić sam URL w systemie bez opisu. Ten sam mechanizm od lat występuje w klasycznych wyszukiwarkach.
Google-Extended nie jest zamiennikiem Googlebota
Pełna blokada Google-Extended wygląda podobnie:
User-agent: Google-Extended
Disallow: /Technicznie jest to jednak inny rodzaj kontroli. Google-Extended nie wysyła własnych żądań oznaczonych jako Google-Extended. Google opisuje go jako samodzielny token produktu w robots.txt. Treść może zostać pobrana przez Googlebota lub inny crawler Google, a dopiero później reguła Google-Extended decyduje o wybranych sposobach jej wykorzystania.
W praktyce oznacza to trzy rzeczy:
- nie da się potwierdzić działania Google-Extended przez wyszukanie tej nazwy w logach serwera;
- blokowanie Google-Extended na poziomie WAF na podstawie nagłówka
User-Agentnie ma sensu, ponieważ taki osobny nagłówek nie występuje; Disallow: /dla Google-Extended nie blokuje indeksowania w Google Search ani nie jest sygnałem obniżającym ranking strony.
Nie należy również traktować Google-Extended jako przełącznika dla AI Overviews lub AI Mode. Są to funkcje Google Search. Crawlowanie na ich potrzeby odbywa się za pomocą Googlebota, a zakres prezentowanych fragmentów kontrolują między innymi noindex, nosnippet, data-nosnippet i max-snippet.
Google rozwija również odrębną kontrolę w Search Console, pozwalającą części właścicieli witryn wykluczyć treści z generatywnych funkcji Search. W lipcu 2026 roku rozwiązanie nadal jest udostępniane wybranym właścicielom stron. Nie zastępuje Google-Extended: ustawienie Search Console dotyczy prezentowania treści w generatywnych wynikach wyszukiwania, natomiast Google-Extended steruje wybranymi zastosowaniami treningowymi i groundingiem poza klasycznym mechanizmem indeksowania.
Najbardziej ryzykowny błąd polega więc na zastąpieniu:
User-agent: Google-Extended
Disallow: /przez:
User-agent: Googlebot
Disallow: /Pierwsza konfiguracja zachowuje widoczność w Google Search. Druga może odciąć Google od całej witryny.
Reguły robots.txt dla strony publicznej, dokumentacji i strefy premium
Dobrą konfigurację zaczyna się nie od listy botów, lecz od podziału treści. W większości serwisów B2B, SaaS i portali branżowych występują co najmniej trzy strefy:
- treści publiczne – strona główna, oferta, blog, baza wiedzy;
- dokumentacja – instrukcje, dokumentacja API, poradniki wdrożeniowe, materiały techniczne;
- treści premium i prywatne – panel klienta, raporty abonamentowe, płatne kursy, dokumenty wewnętrzne.
Dla każdej strefy trzeba podjąć osobną decyzję dotyczącą wyszukiwania i treningu.
| Strefa | Googlebot | OAI-SearchBot | GPTBot | Google-Extended |
|---|---|---|---|---|
| Publiczna oferta i blog | Zwykle zezwól | Zezwól, gdy strona ma pojawiać się w ChatGPT Search | Decyzja dotycząca treningu | Decyzja dotycząca treningu i groundingu Gemini |
| Publiczna dokumentacja | Zwykle zezwól | Zezwól, gdy odpowiedzi AI mają odsyłać do dokumentacji | Zablokuj, jeżeli dokumentacja nie ma być materiałem treningowym | Zablokuj, jeżeli dokumentacja nie ma być używana w kontrolowanych zastosowaniach Gemini |
| Dokumentacja wewnętrzna | Zablokuj i zabezpiecz serwerowo | Zablokuj i zabezpiecz serwerowo | Zablokuj i zabezpiecz serwerowo | Zablokuj i zabezpiecz serwerowo |
| Strefa premium | Zablokuj pomocniczo, ale przede wszystkim wymagaj autoryzacji | Tak samo | Tak samo | Tak samo |
Ta tabela nie jest ogólną rekomendacją „blokować lub nie blokować AI”. Pokazuje, że widoczność w wyszukiwaniu i zgoda na zastosowania treningowe są dwiema różnymi decyzjami.
Wariant 1: wyszukiwanie dozwolone, trening zablokowany
Poniższa konfiguracja pozwala Googlebotowi i OAI-SearchBotowi pobierać stronę publiczną oraz dokumentację. Jednocześnie całkowicie blokuje GPTBot i Google-Extended.
# Google Search:
# publiczne strony i dokumentacja są dostępne,
# strefy prywatne i premium są wyłączone.
User-agent: Googlebot
Disallow: /konto/
Disallow: /panel/
Disallow: /premium/
Disallow: /api/private/
# ChatGPT Search:
# publiczne strony i dokumentacja są dostępne,
# strefy prywatne i premium są wyłączone.
User-agent: OAI-SearchBot
Disallow: /konto/
Disallow: /panel/
Disallow: /premium/
Disallow: /api/private/
# OpenAI:
# brak zgody na crawlowanie do celów treningowych.
User-agent: GPTBot
Disallow: /
# Google:
# brak zgody na zastosowania objęte Google-Extended.
User-agent: Google-Extended
Disallow: /
# Reguła dla pozostałych zgodnych crawlerów.
User-agent: *
Disallow: /konto/
Disallow: /panel/
Disallow: /premium/
Disallow: /api/private/
Sitemap: https://example.pl/sitemap.xmlW tej wersji:
/oferta/,/blog/i/docs/pozostają dostępne dla Google Search oraz ChatGPT Search;/konto/,/panel/,/premium/i/api/private/są wyłączone z crawlowania przez wymienione boty;- GPTBot nie ma dostępu do żadnej strony;
- Google-Extended nie zezwala na objęte nim zastosowania żadnej strony;
- blokada Google-Extended nie ogranicza Googlebota.
Powtórzenie ścieżek w grupach Googlebot i OAI-SearchBot nie jest nadmiarem. Specyficzna grupa user-agenta nie dziedziczy automatycznie reguł z grupy User-agent: *. Jeżeli crawler znajdzie grupę pasującą do swojej nazwy, grupa ogólna nie jest z nią łączona.
Wariant 2: publiczne strony mogą być wykorzystywane, ale dokumentacja już nie
Ten model pasuje do firmy, która nie sprzeciwia się wykorzystaniu opisów produktów, artykułów i materiałów marketingowych, ale chce wyłączyć dokumentację techniczną, runbooki albo szczegółowe instrukcje wdrożeniowe.
# GPTBot może pobierać treści publiczne,
# ale nie dokumentację i strefy chronione.
User-agent: GPTBot
Disallow: /docs/
Disallow: /konto/
Disallow: /panel/
Disallow: /premium/
Disallow: /api/private/
# Analogiczna polityka dla Google-Extended.
User-agent: Google-Extended
Disallow: /docs/
Disallow: /konto/
Disallow: /panel/
Disallow: /premium/
Disallow: /api/private/
# ChatGPT Search może korzystać z dokumentacji publicznej,
# ale nie z dokumentacji wewnętrznej.
User-agent: OAI-SearchBot
Disallow: /docs/internal/
Disallow: /konto/
Disallow: /panel/
Disallow: /premium/
Disallow: /api/private/
# Google Search otrzymuje taki sam zakres dokumentacji.
User-agent: Googlebot
Disallow: /docs/internal/
Disallow: /konto/
Disallow: /panel/
Disallow: /premium/
Disallow: /api/private/
User-agent: *
Disallow: /docs/internal/
Disallow: /konto/
Disallow: /panel/
Disallow: /premium/
Disallow: /api/private/Efekt jest precyzyjny:
/,/oferta/i/blog/pozostają dostępne dla wszystkich wymienionych systemów;/docs/start/może pojawiać się w Google Search i ChatGPT Search;- GPTBot i Google-Extended nie otrzymują dostępu do
/docs/; /docs/internal/jest zablokowane także dla wyszukiwarek;- strefy konta i premium są objęte restrykcjami w każdej grupie.
Nie trzeba dodawać Allow: / do każdej grupy. Jeżeli ścieżka nie pasuje do żadnego Disallow, jest domyślnie dozwolona. Allow przydaje się przede wszystkim jako wyjątek od szerszego zakazu, na przykład:
User-agent: OAI-SearchBot
Disallow: /docs/
Allow: /docs/public/Przy konflikcie wygrywa reguła pasująca do dłuższej, bardziej szczegółowej ścieżki. Kolejność wpisania Allow i Disallow nie jest decydująca. Przy równie szczegółowych sprzecznych regułach standard preferuje wariant zezwalający, dlatego nie warto budować polityki na niejednoznacznych remisach.
Błędna konfiguracja: reguła ogólna nie zostanie odziedziczona
Poniższy plik wygląda poprawnie na pierwszy rzut oka:
User-agent: *
Disallow: /premium/
Disallow: /panel/
User-agent: OAI-SearchBot
Disallow: /tmp/Administrator może zakładać, że OAI-SearchBot otrzyma trzy zakazy:
/premium/,/panel/,/tmp/.
W rzeczywistości specyficzna grupa OAI-SearchBot nie jest łączona z grupą *. Dla OAI-SearchBot obowiązuje więc tylko:
Disallow: /tmp/Katalogi /premium/ i /panel/ mogą pozostać dla niego dozwolone. Przeniesienie grupy OAI-SearchBot nad grupę * niczego nie naprawi, ponieważ kolejność grup nie rozstrzyga dopasowania.
Poprawiona wersja:
User-agent: OAI-SearchBot
Disallow: /premium/
Disallow: /panel/
Disallow: /tmp/
User-agent: *
Disallow: /premium/
Disallow: /panel/Alternatywnie nie należy tworzyć osobnej grupy OAI-SearchBot, jeżeli ma mieć dokładnie takie same ograniczenia jak wszystkie pozostałe crawlery.
Drugi, bardziej oczywisty błąd wygląda tak:
User-agent: *
Disallow: /To nie jest reguła „dla wszystkich botów AI”. Jest to zakaz dla każdego zgodnego crawlera, który nie ma bardziej szczegółowej grupy – w tym dla Googlebota. Taki wpis potrafi zablokować crawlowanie całego serwisu w Google.
Strefa premium musi być chroniona poza robots.txt
Ścieżki takie jak:
/premium/
/raporty-klienta/
/panel/
/api/private/nie stają się prywatne tylko dlatego, że zostały wpisane do robots.txt. Plik jest publiczny, a jego zawartość może wręcz ujawnić nazwy interesujących katalogów. Standard Robots Exclusion Protocol wprost zaznacza, że reguły nie są mechanizmem autoryzacji.
Treść premium powinna wymagać przynajmniej jednego z faktycznych mechanizmów dostępu:
- aktywnej sesji zalogowanego użytkownika,
- sprawdzenia uprawnień do konkretnego dokumentu,
- tokenu z ograniczonym zakresem i terminem ważności,
- odpowiedzi
401 Unauthorizedlub403 Forbiddendla nieuprawnionego żądania, - podpisanego adresu URL z krótkim czasem ważności,
- kontroli dostępu do pliku również na poziomie storage lub CDN.
Szczególnie częsty błąd polega na zabezpieczeniu strony HTML, ale pozostawieniu publicznego pliku PDF, nagrania albo eksportu CSV. Crawler nie musi otwierać panelu klienta, jeżeli zna bezpośredni adres zasobu.
robots.txt należy tu traktować jako dodatkową instrukcję dla zgodnych crawlerów, a nie pierwszą linię obrony. Google również zaleca zabezpieczanie poufnych materiałów hasłem lub innym mechanizmem autoryzacji, zamiast polegania na samym blokowaniu crawlowania.
Jak przetestować składnię, zakres i rzeczywisty ruch botów po wdrożeniu
Poprawna składnia to dopiero połowa pracy. Druga połowa polega na sprawdzeniu, czy serwer publikuje właściwy plik, crawler dopasowuje oczekiwaną grupę, a CDN lub WAF nie zwraca innej odpowiedzi niż aplikacja.
1. Pobierz plik tak, jak pobierze go crawler
Podstawowy test:
curl -sS -D - https://example.pl/robots.txt -o /tmp/robots.txt
cat /tmp/robots.txtTrzeba sprawdzić:
- czy odpowiedź ma kod
200, - czy zwracany jest plik tekstowy, a nie strona błędu lub challenge WAF,
- czy treść jest aktualna,
- czy nie ma przekierowania do panelu logowania,
- czy kodowanie jest zgodne z UTF-8,
- czy serwer nie publikuje innej wersji dla ruchu z zagranicy.
Szczególnie mylący jest kod 403 zwracany dla samego pliku /robots.txt. Dla Google większość odpowiedzi 4xx, poza 429, oznacza brak obowiązujących ograniczeń, a nie blokadę całej witryny. Zamknięcie dostępu do robots.txt na firewallu może więc dać efekt przeciwny do planowanego.
Reguły obowiązują w zakresie konkretnego protokołu, hosta i portu. Plik:
https://www.example.pl/robots.txtnie steruje automatycznie adresem:
https://docs.example.pl/ani:
https://app.example.pl/Każdy aktywny host powinien zostać sprawdzony osobno. Dotyczy to także wariantów z www, subdomenami dokumentacji, środowiskami aplikacji i publicznymi hostami CDN.
2. Przygotuj macierz testowych adresów
Nie wystarczy przetestować strony głównej. Minimalny zestaw powinien obejmować:
| Adres testowy | Oczekiwany Googlebot | Oczekiwany OAI-SearchBot | Oczekiwany GPTBot | Oczekiwany Google-Extended |
|---|---|---|---|---|
/ |
dostęp | dostęp | zależnie od polityki | zależnie od polityki |
/blog/przyklad/ |
dostęp | dostęp | zależnie od polityki | zależnie od polityki |
/docs/start/ |
dostęp | dostęp | blokada w wariancie 2 | blokada w wariancie 2 |
/docs/internal/runbook/ |
blokada | blokada | blokada | blokada |
/premium/raport-2026/ |
blokada | blokada | blokada | blokada |
/konto/faktury/ |
blokada | blokada | blokada | blokada |
Do macierzy trzeba dodać również warianty, które często ujawniają niedokładną regułę:
- adres ze slashem i bez slasha,
- wielkie i małe litery,
- parametry zapytania,
- pliki PDF i CSV,
- wersje językowe, na przykład
/pl/,/en/i/de/, - adresy dokumentacji dostępne przez alternatywny host,
- stare URL-e pozostawione po migracji.
Dopasowanie ścieżek jest zależne od znaków i wielkości liter. Reguła:
Disallow: /Premium/nie musi zablokować:
/premium/3. Nie traktuj zmiany nagłówka User-Agent w curl jako pełnego testu
Można sprawdzić reakcję serwera lub WAF:
curl -I \
-A "OAI-SearchBot" \
https://example.pl/docs/start/Taki test odpowiada jednak tylko na pytanie: „Co serwer zwraca klientowi przedstawiającemu się jako OAI-SearchBot?”. Nie sprawdza, jak prawdziwy bot zinterpretuje grupy i ścieżki w robots.txt.
User-agent można łatwo sfałszować. Dlatego wpis w logu zawierający GPTBot, OAI-SearchBot albo Googlebot nie jest jeszcze dowodem, że żądanie pochodziło od właściwego operatora. OpenAI publikuje listy zakresów IP dla swoich crawlerów, a Google udostępnia procedury weryfikacji crawlerów.
Przykładowe wyszukiwanie w logu:
grep -E \
'GPTBot|OAI-SearchBot|ChatGPT-User|Googlebot' \
/var/log/nginx/access.logWyniki trzeba następnie zestawić z adresem IP, czasem żądania, kodem odpowiedzi i pobraną ścieżką.
Nie należy szukać Google-Extended w logach. Brak takiego wpisu jest prawidłowy, ponieważ Google-Extended nie ma osobnego identyfikatora HTTP.
4. Sprawdź reguły Google w Search Console
Raport robots.txt w Google Search Console pokazuje między innymi:
- wykryte pliki
robots.txt, - czas ostatniego pobrania,
- ostrzeżenia i błędy,
- status pobrania pliku.
Po naprawieniu istotnej konfiguracji można poprosić Google o ponowne pobranie pliku. Dla pojedynczego adresu warto dodatkowo użyć narzędzia inspekcji URL. Google udostępnia też własną bibliotekę parsera robots.txt, którą można uruchomić lokalnie w testach technicznych lub pipeline CI.
Trzeba uwzględnić ograniczenie raportu: nie każda właściwość Search Console pokazuje te same dane. Raport działa przede wszystkim dla właściwości domenowych i właściwości prefiksowych obejmujących cały host, a nie jedynie wybrany katalog.
5. Uwzględnij opóźnienie po publikacji
OpenAI informuje, że dostosowanie systemów wyszukiwania do nowego robots.txt może potrwać około 24 godzin. Google zazwyczaj buforuje plik przez okres do około 24 godzin, choć problemy z pobraniem mogą wydłużyć obowiązywanie poprzedniej wersji.
Nie należy więc oceniać wdrożenia pięć minut po publikacji. Rozsądny harmonogram kontroli wygląda następująco:
- bezpośrednio po wdrożeniu – sprawdzenie odpowiedzi HTTP i treści pliku;
- po kilku godzinach – kontrola logów oraz cache CDN;
- po 24–48 godzinach – ponowne sprawdzenie ruchu crawlerów i Search Console;
- po kilku dniach – kontrola zmian widoczności oraz nieoczekiwanych żądań do zablokowanych sekcji.
Nowa kontrola generatywnych funkcji Search w Search Console jest odrębnym mechanizmem. Google wskazuje, że jej zmiany zwykle zaczynają działać po jednym lub dwóch dniach, ale nie należy mieszać tego czasu z przetwarzaniem reguł Google-Extended.
Checklista po publikacji nowego robots.txt
- Plik jest dostępny pod
/robots.txtna każdym właściwym hoście. - Serwer zwraca
200, a nie403,404, stronę logowania albo challenge WAF. - Treść jest kodowana w UTF-8 i nie zawiera niewidocznych znaków przed pierwszą dyrektywą.
- Użyto nazw
GPTBot,OAI-SearchBotiGoogle-Extendedbez numerów wersji. - Każda specyficzna grupa zawiera wszystkie bazowe blokady, których potrzebuje.
- Nie założono, że grupa
User-agent: *zostanie odziedziczona przez grupę specyficzną. - Publiczna strona główna, artykuł i dokumentacja zostały przetestowane osobno.
- Sprawdzono katalogi premium, panel, konto, dokumentację wewnętrzną oraz bezpośrednie adresy plików.
- Googlebot nie został przypadkowo objęty pełnym
Disallow: /. - Reguły są identyczne na produkcji, CDN i wszystkich aktywnych subdomenach.
- W Search Console nie ma błędów pobierania pliku.
- Logi są sprawdzane wraz z adresami IP, a nie tylko po nazwie user-agenta.
- Strefa premium wymaga autoryzacji również wtedy, gdy crawler ignoruje
robots.txt. - Konfiguracja została ponownie oceniona po 24–48 godzinach.
FAQ: GPTBot, OAI-SearchBot i Google-Extended
Czy zablokowanie GPTBot usuwa stronę z ChatGPT Search?
Nie. Za prezentowanie stron w ChatGPT Search odpowiada OAI-SearchBot. Oba ustawienia są niezależne.
Czy zablokowanie OAI-SearchBot zatrzymuje wykorzystanie treści do treningu OpenAI?
Nie. W tym celu trzeba ustawić osobną regułę dla GPTBot.
Czy Google-Extended pojawi się jako osobny bot w logach serwera?
Nie. Google-Extended nie ma osobnego user-agenta HTTP. Treść jest pobierana przez istniejące crawlery Google.
Czy blokada Google-Extended pogorszy pozycję strony w Google?
Nie powinna wpływać na indeksowanie ani ranking w Google Search. Nie należy jednak mylić Google-Extended z Googlebotem. Zablokowanie Googlebota może ograniczyć widoczność strony.
Czy Google-Extended wyłącza stronę z AI Overviews i AI Mode?
Nie. AI Overviews i AI Mode należą do Google Search. Ich crawlowanie jest powiązane z Googlebotem, a prezentację treści ograniczają między innymi dyrektywy noindex, nosnippet i max-snippet oraz odrębne ustawienia udostępniane w Search Console.
Czy trzeba dodawać Allow: / w każdej grupie?
Nie. Brak pasującego Disallow oznacza domyślne zezwolenie. Allow jest potrzebne głównie jako wyjątek od szerszej blokady.
Czy robots.txt wystarczy do ochrony płatnego raportu lub dokumentacji klienta?
Nie. To instrukcja dla zgodnych crawlerów, a nie zabezpieczenie. Materiał musi być chroniony przez uwierzytelnienie i kontrolę uprawnień po stronie serwera.
Od czego zacząć audyt istniejącej konfiguracji?
Najpierw wyszukaj User-agent: * połączone z Disallow: / oraz specyficzne grupy, które nie powtarzają blokad katalogów premium. Następnie rozdziel dwie decyzje: czy treść ma być widoczna w wyszukiwaniu oraz czy ma być dostępna dla zastosowań treningowych. Dopiero później przypisz reguły do GPTBot, OAI-SearchBot, Google-Extended i Googlebota.
