Slovník
GPTBot a AI crawlery
Roboty, ktorými AI služby sťahujú obsah na rôzne účely. Vyhľadávacie a tréningové crawlery treba rozlišovať a nastaviť podľa cieľa.
AI crawlery sú roboty, ktorými spoločnosti prechádzajú web na rôzne účely, napríklad vyhľadávanie alebo zlepšovanie modelov. Funkčne sa podobajú na Googlebot, ale každý user-agent má vlastnú úlohu a pravidlá. Preto ich nemožno posudzovať ako jednu skupinu.
Kto je kto
- GPTBot - crawler OpenAI na zber obsahu pre možné zlepšovanie modelov.
- OAI-SearchBot - crawler OpenAI špecificky pre vyhľadávanie a citácie v ChatGPT.
- ClaudeBot - crawler Anthropic na zber obsahu, ktorý môže byť použitý na tréning modelov.
- Claude-SearchBot - crawler Anthropic pre vyhľadávanie v službe Claude.
- PerplexityBot - crawler vyhľadávača Perplexity.
- Google-Extended - prepínač, ktorým Google oddeľuje použitie obsahu pre vybrané funkcie Gemini od použitia pre Google Search; AI Overviews a AI Mode vo Vyhľadávaní riadi Googlebot.
Prečo to marketér rieši
Pravidlá robots.txt nastavujte podľa dokumentovaného účelu konkrétneho crawlera. Google-Extended je riadiaci token, nie samostatný HTTP user-agent. Vyhľadávanie a použitie na tréning preto posudzujte oddelene.
Časté nedopatrenie: niektoré weby zdedili blokovanie AI botov z univerzálnej šablóny alebo bezpečnostného pluginu a ani o tom nevedia. Oplatí sa otvoriť si vlastný robots.txt a pozrieť, čo tam reálne je.
Zdroj: Anthropic, účel crawlerov, 10. 9. 2026.
Dokumentácia k definícii a overeniu.
Tabuľka pre rozhodnutie o prístupe
Ku každému crawleru si zapíšte prevádzkovateľa, dokumentovaný účel, pravidlo robots.txt a prípadnú prekážku na CDN. Vyhľadávací a tréningový účel posudzujte oddelene. Následne overte konkrétnu požiadavku v záznamoch. Text user-agenta sám nepotvrdzuje identitu robota a povolenie prístupu negarantuje použitie stránky v odpovedi.
Časté otázky
Mám blokovať GPTBot a ostatné AI crawlery?
Záleží od konkrétneho user-agenta. OAI-SearchBot súvisí s vyhľadávaním v ChatGPT, kým GPTBot s možným zlepšovaním modelov. Nastavte ich oddelene podľa cieľa.
Líši sa AI crawler od Googlebota?
Áno. Sú to samostatné roboty od OpenAI, Anthropic, Perplexity a ďalších. To, že vás vidí Googlebot, neznamená, že vás vidia aj oni - každý sa riadi vlastnými pravidlami v robots.txt.