Slovník
GPTBot a AI crawlery
Roboty, ktorými si AI nástroje sťahujú obsah z webu. Či ich pustíte dnu, rozhoduje o tom, či vás AI nástroje môžu prečítať a citovať.
AI crawlery sú roboty, ktorými spoločnosti za AI nástrojmi prechádzajú web a sťahujú obsah - či už na tréning modelov, alebo na živé vyhľadávanie v odpovediach. Fungujú podobne ako Googlebot, ale patria iným hráčom a riadia sa vlastnými pravidlami. A práve tu je nová deliaca čiara: web, ktorý ich nepustí dnu, pre AI prakticky neexistuje.
Kto je kto
- GPTBot - crawler OpenAI (ChatGPT). Sťahuje obsah pre tréning aj pre vyhľadávanie.
- OAI-SearchBot - crawler OpenAI špecificky pre vyhľadávanie a citácie v ChatGPT.
- ClaudeBot - crawler Anthropic (Claude).
- PerplexityBot - crawler vyhľadávača Perplexity.
- Google-Extended - prepínač, ktorým Google oddeľuje použitie obsahu pre Gemini a AI funkcie od bežného indexovania v Search.
Prečo to marketér rieši
Každého z týchto botov viete pustiť alebo zablokovať v súbore robots.txt. Je to legitímne rozhodnutie oboma smermi: ak obsah nechcete dať modelom k dispozícii, blokovanie dáva zmysel. Ak ale chcete byť v AI odpovediach a botov zároveň blokujete, sami sa z nich vymazávate.
Časté nedopatrenie: niektoré weby zdedili blokovanie AI botov z univerzálnej šablóny alebo bezpečnostného pluginu a ani o tom nevedia. Oplatí sa otvoriť si vlastný robots.txt a pozrieť, čo tam reálne je.
Časté otázky
Mám blokovať GPTBot a ostatné AI crawlery?
Záleží od cieľa. Ak chcete byť v AI odpovediach, blokovať ich nesmiete. Ak obsah nechcete dať modelom (napr. prémiový alebo citlivý), blokovanie je legitímne - len treba vedieť, že tým miznete z AI citácií.
Líši sa AI crawler od Googlebota?
Áno. Sú to samostatné roboty od OpenAI, Anthropic, Perplexity a ďalších. To, že vás vidí Googlebot, neznamená, že vás vidia aj oni - každý sa riadi vlastnými pravidlami v robots.txt.
Chcete vedieť, či vás v tomto vidieť?
Pošlite mi web alebo otázku. Pozriem sa prakticky na to, kde sa stráca viditeľnosť a čo riešiť ako prvé.