Slovník
robots.txt
Textový súbor v koreni webu, ktorý robotom hovorí, kam smú a kam nie. Pokyny sú určené aj AI crawlerom, ktoré tento súbor rešpektujú.
robots.txt je obyčajný textový súbor umiestnený v koreni domény (napríklad svaton.sk/robots.txt), ktorý robotom dáva pokyny, ktoré časti webu smú prechádzať a ktoré nie. Súbor však technicky nezabráni prístupu robotovi, ktorý jeho pravidlá nerešpektuje.
Ako funguje
Pracuje s pravidlami User-agent (pre ktorého robota platí), Disallow (kam nesmie) a Allow (výnimka). Klasicky sa ním riešilo, aby roboty nemíňali kapacitu na nezmyselné stránky - filtre, košík, interné vyhľadávanie.
Nová úloha v ére AI
Ten istý súbor dnes riadi aj AI crawlery. Každý user-agent však môže mať iný účel. Pri OpenAI napríklad OAI-SearchBot súvisí s vyhľadávaním, kým GPTBot s možným zlepšovaním modelov. Pravidlá preto nastavujte po jednotlivých crawleroch, nie jedným zákazom pre všetkých.
Čo skontrolovať: pri náleze blokovania v robots.txt najprv zistite, ktorých URL sa pravidlo týka. Blokovanie filtrov či interného vyhľadávania môže byť zámerné; dôležité obsahové stránky treba posúdiť samostatne.
Dokumentácia k definícii a overeniu.
Keď chcete stránku odstrániť z výsledkov
Zákaz prechádzania a vyradenie z indexu sú rozdielne požiadavky. Ak používate noindex, Google musí mať možnosť stránku načítať, aby pokyn videl. Pri súkromnom dokumente riešte riadenie prístupu, napríklad prihlásenie; robots.txt nie je ochrana dôverných údajov. Pred zásahom si preto presne určte, ktorý z týchto problémov riešite.
Časté otázky
Zabráni robots.txt indexácii alebo prístupu k súkromným dátam?
Nie spoľahlivo. Riadi prechádzanie robotmi, ktoré ho rešpektujú. Google musí stránku načítať, aby videl noindex. Dôverné údaje chráňte riadením prístupu, nie iba robots.txt.